用皮肤“听”音乐，网友戴上这款装备听音乐会：仿佛住在钢琴里

羿阁 发自 凹非寺
量子位 | 公众号 QbitAI

贝多芬失聪后继续创作的故事相信大家都听过。

《致爱丽丝》、《英雄交响曲》、《田园交响曲》等等作品都堪称经典。

那你有没有想过，他究竟是如何做到的？

初中物理课上，老师告诉我们：失去听力的贝多芬，用牙咬住木棒一端，另一端顶在钢琴上，以此感受钢琴的震动，坚持创作。

而现在，科学家的最新研究恰好也证实了这一点：音乐不仅可以听，还能摸！

甚至，聋人音乐家们还能通过触觉，理解音乐传递的复杂情感。

听不见也能享受音乐

对于听力正常的人来说，当特定频率的振动（20Hz-20000Hz）通过空气传播，并被耳蜗中的微小感官细胞捕获时，我们就能听到声音。

但其实，声音也可以通过触觉来感受。

如果你去过狂热的音乐会现场，就能感觉到：那些刺激的音乐不仅冲击着你的耳膜，甚至能带动你身体跟着摇摆。

没错，皮肤能直接感受到声波产生的压力，同时声波也能通过吉他拨片、舞台地板等中介，传递到人的手、脚、身体，甚至可以深入骨骼和内腔壁（如肺和胸部）之间的膜。

因此，有些听障人士在听音乐会时，会用手扣紧气球表面，通过薄橡胶的震动更好地感受音乐。

多伦多城市大学心理学教授、音乐家Frank Russo在研究中还发现：耳朵听不到的人触觉往往更敏感。

在听障人士的大脑中，听觉皮层经常以另外的方式被重新利用，它会重新连接来自其他感官的信号，比如触觉和视觉。

尤其对于那些后天性耳聋的人来说，整个大脑会重新调整，以适应听力损失。例如，一个涉及注意力的神经网络被发现与协调运动反应、视觉系统和记忆力的神经网络联系更紧密。

而通过触觉感受音乐的好处是，触觉能有效地传递节奏。Russo通过脑电图的对比发现，无论是通过耳朵听还是触觉摸，两者感受到的音乐节奏都是基本相同的。

不仅如此，触摸还可以感受到音乐中的其他信息，比如可以通过振幅大小感受音量变化。

至于能否感受到音乐中的复杂情感，Russo表示：绝大部分可以感受到。具体来说，低频振动传递的情感更多，高频振动则听上去没什么情感。

来自马拉加大学的Byron Remache-Vinueza形象地描述了这一感觉：

把音乐从声音切换到振动，就像把一道妈妈做的最好吃的菜换成了汤，两者只是一种不同的体验罢了。

值得一提的是，截至目前，用触觉感受音乐的方法已经改变了很多听障人士的生活。

改变人生的技术

利物浦大学的音乐振动项目(Musical Vibrations)是一个专门提供将音乐转化为振动的设备的组织，该组织曾把他们的技术提供给聋哑说唱歌手SignKid。

研究团队将他的一首歌曲导入设备中，将吉他、踢踏鼓和小军鼓的声音转换为振动，让SignKid光脚踩在两个振动器上，通过他的脚跟和前脚来感受音乐。

“我喜欢这个，”SignKid告诉音乐振动团队，“这真的能给我自信。”

最后，SignKid用该团队借给他的设备，制作了他的个人EP《视觉体验》。

震动器还只是简单的操作，一家医疗保健公司设计了一款可穿戴设备——把一系列传感器绑在人的背部、肩膀、腰部、脚踝以及手腕处，外表看起来像安全带和背包的组合，可以用于放大和传输不同频率的振动。

这套装备已经在拉斯维加斯市中心的一场音乐会上进行过测试，参加测试的听障人士都表示，他们感觉身体变成了乐器，音乐正在通过这些乐器被演奏出来。

△图注：来自YouTube@Not Impossible

一位听障人士在佩戴设备体验了贝多芬的《月光奏鸣曲》第三乐章后，说自己就像是“住在钢琴里”。

但是，尽管通过触觉感受音乐已经得到了验证，在这个过程中还是遇到了一些问题。

仍需改进

想要用触觉感受音乐，遇到的第一个问题是：音乐的频率和振动的频率并不能完全对应。

相比于我们的耳朵对2000Hz-5000Hz的声音最敏感，振动传递的声音范围却通常在5Hz-1000Hz之间。

这意味着，许多耳朵能听到的高音不能被触觉捕捉到，或者说不能被精确地识别。相反，我们可以用触觉感觉到某些低音，即使我们听不到它们。

而将现有音乐转换成振动的第二个障碍是如何区分不同的声音。

南安普顿大学声音与振动研究所的Mark Fletcher表示，目前的许多技术只能处理已被划分成不同乐器的独立音轨的音乐，而很难很好地“分解”复杂音乐。

即使是最先进的算法，现在也难以解决更强烈的振动会掩盖其他振动 ，以及不同的乐器在一首歌中音量会随时变化等问题。

如果没有强有力的方法将不同的乐器分开，并以振动的形式编译出平衡的信号，将无法仅从振动中识别音乐的细微差别。

有一说一，尽管这些技术上的难题仍待解决，但这项技术的发明给听障人士生活带来的变化是实打实的。

利物浦大学的研究团队曾把他们的振动设备带到了一所聋哑学校。

老师们这样回馈道：

学生们在音乐课上更投入了，孩子们真的很喜欢，一个男孩总是在休息时间回来敲门问:“我可以再玩一次吗？”

参考链接：
[1]https://nautil.us/how-the-brain-allows-the-deaf-to-feel-music-22197/
[2]https://direct.mit.edu/jocn/article-abstract/33/4/635/97411/Neural-and-Behavioral-Evidence-for-Vibrotactile?
[3]https://www.sohu.com/a/277841760_100163655
[4]https://www.musicalvibrations.com/signkid/
[5]https://www.researchgate.net/publication/348669717_Neural_and
[6]https://www.youtube.com/channel/UCeBCj0wtkliFdOqEN4jC_4Q

— 完 —

「人工智能」、「智能汽车」微信社群邀你加入！

欢迎关注人工智能、智能汽车的小伙伴们加入我们，与AI从业者交流、切磋，不错过最新行业发展&技术进展。

ps.加好友请务必备注您的姓名-公司-职位哦~

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~