【NeurIPS 2020】"鸡尾酒会"基于课程学习策略的自监督发声物体的判别性感知与定位

如何在具有多种声源的『鸡尾酒会』中区分不同的声音对象，这对人类来说是一项基本能力，但对当前的机器而言却仍然极具挑战！为此，本文提出一种基于课程学习策略的两阶段框架，实现了自监督下不同发声物体的判别性感知与定位。首先，我们提出在单声源场景中聚合候选声音定位结果以学习鲁棒的物体表征。进而在鸡尾酒会情景中，参考先期课程学习到的物体知识以生成不同物体的语义判别性定位图，通过将视音一致性视为自监督信息，匹配视音类别分布以滤除无声物体和选择发声对象。大量基于合成和真实多声源场景的实验表明，本文所提模型能够实现在无语义类别标注情形下，同时滤除无声物体和指出发声物体的明确位置并判定其类别属性，这在视觉多声源定位上尚属首次。

https://www.zhuanzhi.ai/paper/a3e7afb0a5c86f35871aa5269f7668ae

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“DSAM” 可以获取《【NeurIPS 2020】"鸡尾酒会"基于课程学习策略的自监督发声物体的判别性感知与定位》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源