Sceince子刊:利用AI+脑电波,锁定你想听的声音

2019 年 5 月 23 日 新智元





  新智元原创  

来源:Medium

编辑:鹏飞

【新智元导读】哥伦比亚大学的工程师们宣布一项实验技术,该技术可模仿大脑检测和放大许多声音的天生能力。这种由大脑控制的助听器由人工智能驱动,可作为自动过滤器,监控佩戴者的脑电波并增强他们想要关注的声音。虽然仍处于早期开发阶段,但该技术是迈向更好助听器的重要一步,使佩戴者能够无缝,高效地与周围的人交谈。


人类大脑具有非凡的能力,可以在嘈杂的环境中挑选出特定的声音。比如,在嘈杂的酒吧里留意中意对象的说话、在车水马龙的街道分辨身后来车等等。


这在人类来说很轻松就能做到,可连最先进的助听器也无法实现。不过,哥伦比亚大学的工程师们正在改变这种情况。


他们宣布已经实现一项技术,可以模仿大脑天生具备的检测并放大特定声音的能力,并开发出一款由大脑控制的助听器。



助听器由AI驱动,可作为自动过滤器,监控佩戴者的脑电波并增强他们想要关注的声音,从而能够让佩戴者无缝并高效地与周围的人交流。


论文发表在Science Advances上。据悉,一作Cong Han在杭州科技大学获得学士学位,在哥伦比亚大学获得硕士学位。


鸡尾酒会难题


哥伦比亚大学Mortimer B. Zuckerman Mind Brain Behavior Institute的主要研究员和该论文的资深作者Nima Mesgarani博士说,处理声音的大脑区域非常敏感,也非常强大,可以毫不费力的放大一个特定声音而不牵扯其他声音,今天的助听器却做不到。



那么通过创造一种利用大脑本能的助听设备,有望使全球数亿听障人士能够像普通人一样轻松地进行交流。


现代助听器在降噪方面已经做的非常出色了,但实现的过程却是通过提高特定种类的声音,使其盖过其它背景音。科学家称之为鸡尾酒会难题。


想象一下,我们在一个嘈杂的鸡尾酒会,不仅每个人都在说话,大厅还放着BGM。为了让身边的人听清楚你不得不提高嗓门说话,而旁边的人为了让你听清楚也不得不提高自己的音量。


哥伦比亚工程公司电气工程副教授Mesgarani博士说:“助听器会立刻放大所有人的声音,你仍然无法将你的谈话对象和其他人区分出来”


用脑电波来放大特定声音


为什么会想到利用脑电波呢?Mesgarani称他们发现两个人在交谈的时候,讲者的脑电波开始和听着趋同。


于是该团队将语音分离算法与神经网络、以及模仿大脑自然计算能力的复杂数学模型相结合,开发了一款脑控助听器,使用脑电波来判断哪些声音应该被放大,哪些声音应该被抑制。


具体实现方式如下:


首先从一个组中分离出每个说话者的声音。设备自动将多个扬声器分离成单独的流,然后将每个扬声器与来自用户大脑的神经数据进行比对。一旦某人的声音模式与听者的脑电波匹配度最高,他的声音就会被放大。


其实团队早在2年前就发布了这项技术的初代版本,但限于预训练数据集,效果刚开始不是很理想。比如一旦出现不在数据集的声音,比如来个路人问路,系统就凌乱了。


好在哥伦比亚科技风险投资公司的资助下,团队对原始算法进行了改进,Mesgarani博士、第一作者Cong Han和James O'Sullivan博士再次利用深度神经网络,构建了一个更加复杂的模型,从而能够识别任何人声,从而解决了上述问题。



室内测试显示,效果还不错


为了测试该算法的有效性,研究人员与Northwell Health Institute for Neurology and Neurosurgery的神经外科医生Ashesh Dinesh Mehta合作,找来志愿患者听取不同的讲者发言,研究人员利用植入患者大脑的电极直接监测他们的脑电波、


当患者专注于一个扬声器时,系统会自动放大该声音。当他们的注意力转移到另一个扬声器时,音量水平发生变化以反映这种转变。


接下里,研究人员希望不用植入大脑这种太过简单粗暴的方式,例如将其置于头皮外部或耳朵周围。


目前为止只在室内环境中进行了测试,Mesgarani博士说未来有望在室外环境也实现相同的效果。


参考链接:

https://medium.com/predict/can-our-minds-live-forever-29105faf2d80



新智元春季招聘开启,一起弄潮 AI 之巅!

岗位详情请戳:


【加入社群】


新智元 AI 技术 + 产业社群招募中,欢迎对 AI 技术 + 产业落地感兴趣的同学,加小助手微信号:aiera2015_2   入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。

登录查看更多
0

相关内容

哥伦比亚大学(ColumbiaUniversity),位于美国纽约市曼哈顿,1754年成立,属于私立的常春藤盟校。由三个本科生院和十三个研究生院构成。现有教授三千多人,学生两万余人,校友25万人遍布世界150多个国家。学校每年经费预算约20亿美元,图书馆藏书870万册。
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
134+阅读 · 2020年7月10日
Arxiv
4+阅读 · 2019年12月2日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
8+阅读 · 2018年11月27日
Arxiv
5+阅读 · 2018年10月4日
Physical Primitive Decomposition
Arxiv
4+阅读 · 2018年9月13日
Arxiv
5+阅读 · 2016年10月24日
VIP会员
相关VIP内容
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
134+阅读 · 2020年7月10日
Top
微信扫码咨询专知VIP会员