AI在手，DJ我有

铜灵 编译整理
量子位 出品 | 公众号 QbitAI

近日，MIT（麻省理工学院）的计算机科学与人工智能实验室（CSAIL）里，多了个懂音乐的AI PixelPlayer。

有它助力，音乐小白也能一键轻松将器乐大合奏视频中的每种乐器单独提取出来，享受器乐独奏。甚至，你也能将每种乐器的声音增大或减小，就像下面这样——

AI在手，DJ我有。

有了这种操作，那岂不是人人都可以成为音乐后期制作人？

好学DJ

PixelPlayer是只好学的AI，从音乐小白到调音大师的进阶之路上，研究人员没有提供人类标注过的乐器和音色的对应关系。

这只AI学习的素材也很简单，用60多个小时无标签器乐演奏的视频喂食，成熟的PixelPlayer就会具备自动识别并分离不同乐器声部的技能。并且能够在视频的每个像素上定位声源，联合解析声音和图像。

现在，PixelPlayer已经能够识别20种音色了。对于之前没有听到过的乐器，PixelPlayer也能“揪个现行”出来。

之后，你就能根据自己的爱好自由调节各个声部的声音了。



当你听交响乐时，迷恋小提琴的声音？那就一键把它调大点嘛。

如何调教一个DJ AI?

PixelPlayer是如何诞生的？在论文The Sound of Pixels中，Hang Zhao、Chuang Gan等研究人员解密了整个过程。

接受了大量视频的训练后，PixelPlayer将进行视听源进行分离和定位时，会把输入的声音信号分成N个声道，每个声道对应不同的乐器类别。此外，PixelPlayer对声音定位时，并为输入视频中的每个像素分配不同的声波。

在将两个视频的音频信号混合时，MIT研究人员提出了一种Mix-and-Spparate的训练模型，可将不同来源的音频混在一起，而无需传统方法中的监督过程。

目前，这篇论文已经被今年的ECCV（欧洲计算机视觉会议）组委会接收。

与这项研究类似的还有两个兄弟研究，均探索了图像和音频结合后对分离声音的帮助。

一是论文Looking to listen at the cocktail party: A speaker-independent audio-visual model for speech separation，借助人类外貌解决鸡尾酒问题。

论文地址：

https://arxiv.org/abs/1804.03619

二是论文Audio-visual scene analysis with self-supervised multisensory features，这个声音-图像系统可分离屏幕中可见的物体的声音和不可见物体的声音。

论文地址：

https://arxiv.org/abs/1804.03641

相关资料

项目地址：

http://sound-of-pixels.csail.mit.edu/

论文下载地址：

https://arxiv.org/pdf/1804.03160.pdf

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

加入社群

量子位AI社群18群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot8入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot8，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

实习生招聘

量子位正在招募活动运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com

具体细节，请在量子位公众号(QbitAI)对话界面，回复“实习生”三个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态