【AAAI2022】 负样本问题：时间基础度量学习的复兴

TL;DR: 本方法（Mutual Matching Network, MMN）主要是从两个角度对现有方法进行改进：

第一个角度是使用跨模态对比学习增加文本和视频特征的可辨别性（more discriminative）从而提高最终的定位效果，具体做法是增加了一个使得两个模态双向匹配（mutual matching）的损失函数从而构造了许多新的监督信号 。 我们首次使用了此前方法忽视的文本负样本，并且首次揭示了跨视频负样本的重要性。 我们对于负样本的探究对应了标题中的negative sample matters。

第二个角度是从度量学习的角度使用了一个多模态联合建模空间（joint visual-language embedding space）替换复杂的多模态融合模块，从而大幅降低了计算开销，并且使得前面提到的双向匹配loss成为可能。

虽然此前有过一个方法使用度量学习进行建模，但其方法效果较差因此后续没有人follow这个思路。本方法的标题使用了a renaissance of metric learning试图说明度量学习的角度其实依然是一个很好的建模思路，希望有更多的后续工作follow这个思路。

论文链接（camera ready version已经更新）：

https://www.zhuanzhi.ai/paper/ed084ca186e7f9be2964ab4d52655088

代码链接（代码和网络权重已经开源）：

https://link.zhihu.com/?target=https%3A//github.com/MCG-NJU/MMN

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MMN” 就可以获取《【AAAI2022】 负样本问题：时间基础度量学习的复兴》专知下载链接

商务、投稿、技术等合作：请加微信助手:Quan_ABT, 或发邮件到bd@zhuanzhi.ai

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取7万+AI主题干货知识资料！

点击“ 阅读原文 ”，了解使用 专知