首页 > 动态 > 综合精选 > > 正文
2024-07-01 15:10:05

实验性脑控助听器解码 识别您想听的人

导读 我们的大脑具有非凡的诀窍,可以在嘈杂的环境中挑选出个人的声音,比如拥挤的咖啡馆或繁忙的城市街道。这是即使是最先进的助听器也很难做到

我们的大脑具有非凡的诀窍,可以在嘈杂的环境中挑选出个人的声音,比如拥挤的咖啡馆或繁忙的城市街道。这是即使是最先进的助听器也很难做到的事情。但现在,哥伦比亚大学的工程师们正在宣布一项实验技术,该技术可模仿大脑检测和放大许多声音的天生能力。这种由大脑控制的助听器由人工智能驱动,可作为自动过滤器,监控佩戴者的脑电波并增强他们想要关注的声音。

虽然仍处于早期开发阶段,但该技术是迈向更好助听器的重要一步,使佩戴者能够无缝,高效地与周围的人交谈。今天在Science Advances中描述了这一成就。

哥伦比亚的Mortimer B. Zuckerman Mind的首席研究员Nima Mesgarani博士说:“处理声音的大脑区域非常敏感和强大;它可以放大一个声音而不是其他人,看似毫不费力,而今天的助听器仍然比较苍白。”脑行为研究所和该论文的资深作者。“通过创造一种利用大脑本身力量的设备,我们希望我们的工作能够带来技术改进,使全球数亿听障人士能够像他们的朋友和家人一样轻松地进行交流。”

现代助听器在放大语音的同时抑制某些类型的背景噪声(例如交通)非常出色。但他们努力提高个人声音的音量而不是其他声音。科学家称这是鸡尾酒会的问题,以喧闹的声音在喧闹的派对中混合在一起而命名。

哥伦比亚工程公司电气工程副教授梅斯卡拉尼博士说:“在拥挤的地方,像派对一样,助听器会立刻放大所有发言人。” “这严重阻碍了佩戴者有效交谈的能力,基本上将他们与周围的人隔离开来。”

哥伦比亚队的脑控助听器是不同的。它不仅仅依赖于外部声音放大器,如麦克风,还可以监听听众自己的脑电波。

“以前,我们发现当两个人互相交谈时,说话者的脑电波开始类似于听众的脑电波,”梅斯加拉尼博士说。

利用这些知识,该团队将强大的语音分离算法与神经网络,模仿大脑自然计算能力的复杂数学模型相结合。他们创建了一个系统,首先从一个组中分离出各个说话者的声音,然后将每个说话者的声音与听者的脑电波进行比较。其声音模式与听众的脑电波最匹配的说话者随后被放大。

研究人员在2017年发布了该系统的早期版本,虽然很有希望,但却有一个关键的限制:它必须预先训练才能识别出特定的扬声器。

“如果你和家人在一家餐馆,那个设备会为你识别并解码这些声音,”Mesgarani博士解释说。“但是,一旦服务员等新人到达,系统就会失败。”

今天的进展很大程度上解决了这个问题。在哥伦比亚科技风险投资公司的资助下,改进其原始算法,Mesgarani博士和第一作者丛汉和James O'Sullivan博士再次利用深度神经网络的力量构建了一个更复杂的模型,可以推广到任何潜在的发言人听众遇到的。

“我们的最终结果是一种语音分离算法,其表现与先前版本相似,但有重大改进,”Mesgarani博士说。“它可以识别和解码一个声音 - 任何声音 - 立即开始。”

为了测试该算法的有效性,研究人员与Northwell Health Institute for Neurology and Neurosurgery的神经外科医生Ashesh Dinesh Mehta合作,并与今天的论文合着。Mehta博士治疗癫痫患者,其中一些人必须接受定期手术。

梅斯加拉尼博士说:“这些患者自愿听取不同的发言者,同时我们通过植入患者大脑的电极直接监测他们的脑电波。” “然后我们将新开发的算法应用于该数据。”

该团队的算法跟踪患者的注意力,因为他们听取了之前没有听过的不同的发言者。当患者专注于一个扬声器时,系统会自动放大该声音。当他们的注意力转移到另一个扬声器时,音量水平发生变化以反映这种转变。

在他们的研究结果的鼓舞下,研究人员正在研究如何将这种原型转变为一种非侵入性设备,可以将其置于头皮外部或耳朵周围。他们还希望进一步改进和改进算法,使其能够在更广泛的环境中运行。

“到目前为止,我们只在室内环境中进行了测试,”Mesgarani博士说。“但我们希望确保它能够在繁忙的城市街道或嘈杂的餐厅中工作,这样无论走到哪里,他们都可以充分体验世界和周围的人。”