【ECCV2020-牛津大学】基于自监督学习的视频音视觉物体结构化

我们的目标是利用自监督学习将视频转换成一组离散的视听对象。为此，我们介绍了一个模型，它使用注意力来定位和分组声源，以及光流来随时间聚合信息。我们通过使用我们的模型学习的视听对象嵌入四个下游的面向语音的任务(a)多说话人的声源分离，(b)定位和跟踪说话人，(c)纠正不正确的视听数据，和(d)主动说话人检测的有效性。利用我们的表示法，这些任务完全可以通过训练未标记的视频来解决，而不需要物体检测器的帮助。我们还通过将我们的方法应用于非人类演讲者，包括卡通和木偶，来展示我们方法的普遍性。我们的模型显著优于其他自监督方法，并获得与使用监督人脸检测方法竞争的性能。

https://arxiv.org/abs/2008.04237

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SSLV” 可以获取《【ECCV2020-牛津大学】基于自监督学习的视频音视觉物体结构化》专知下载链接索引

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看5000+AI主题知识资料