【AAAI2022】 负样本问题：时间基础度量学习的复兴

TL;DR: 本方法（Mutual Matching Network, MMN）主要是从两个角度对现有方法进行改进：

第一个角度是使用跨模态对比学习增加文本和视频特征的可辨别性（more discriminative）从而提高最终的定位效果，具体做法是增加了一个使得两个模态双向匹配（mutual matching）的损失函数从而构造了许多新的监督信号。我们首次使用了此前方法忽视的文本负样本，并且首次揭示了跨视频负样本的重要性。我们对于负样本的探究对应了标题中的negative sample matters。

第二个角度是从度量学习的角度使用了一个多模态联合建模空间（joint visual-language embedding space）替换复杂的多模态融合模块，从而大幅降低了计算开销，并且使得前面提到的双向匹配loss成为可能。

虽然此前有过一个方法使用度量学习进行建模，但其方法效果较差因此后续没有人follow这个思路。本方法的标题使用了a renaissance of metric learning试图说明度量学习的角度其实依然是一个很好的建模思路，希望有更多的后续工作follow这个思路。