VALSE 论文速览第22期：基于噪声鲁棒对比损失的部分视图对齐表示学习

2021 年 10 月 30 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自四川大学的工作。该工作由彭玺教授指导，杨谋星同学录制，将为大家呈现多视图学习领域的新进展。

论文题目：基于噪声鲁棒对比损失的部分视图对齐表示学习

作者列表：杨谋星 (四川大学)，李云帆 (四川大学)，黄振宇 (四川大学)，刘子韬 (好未来)，胡鹏 (四川大学)，彭玺 (四川大学)

B站观看网址：

https://www.bilibili.com/video/BV1JT4y1d7wT/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

在实际应用中，由于时间、空间或者时空的异步性，容易导致收集到的多视图数据中只有部分视图具备对齐关系，余下部分的对齐关系未知，即所谓的部分视图对齐问题 (Partially View-aligned Problem，PVP)。为解决该问题，本文提出类别级别对齐方案，用以建立视图对齐关系同时学习相应的表示。简言之，对于视图中的每一样本，所提出方法旨在从其他视图中寻找其类别级对齐的副本，从而建立跨视图对应关系。一种直接想法是将跨视图同类样本对作为正样本对，异类样本对作为负样本对，并进一步使用对比学习解决该判别性问题。然而，这种方案严重依赖于标签信息。在不利用标签信息的情况下，本文使用已知对齐关系的部分样本对作为正样本对，并在其上随机采样构造负样本对。为减轻甚至消除由于随机采样导致的假阴性样本对 (False Negative Pairs, FNP)，本文提出了一种噪声鲁棒的对比损失函数，该函数可自适应地防止FNP给网络优化带来的消极影响。据我们所知，这是最早使得对比学习对假阴性样本鲁棒的成功尝试之一。同时，本工作也显著地扩展了噪声标签学习 (Learning with Noisy Labels)的外延。具体而言，传统的噪声标签被定义为对分类等有监督任务中的不准确标注。相比之下，本文指出了样本对间的对齐关系可能是错误的，这与广泛接受的噪声标签定义有显著的不同。在实验部分，本方法与目前10种先进的多视图聚类和分类方法分别进行比较，并对所提出的损失函数进行鲁棒分析。实验结果表明所提出的方法具备较优的性能和对假阴性样本良好的鲁棒性。该工作的代码已在https://pengxi.me上进行开源。

论文信息：

[1] Yang, M., Li, Y., Huang, Z., Liu, Z., Hu, P., & Peng, X. (2021). Partially view-aligned representation learning with noise-robust contrastive loss. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 1134-1143)

视频讲者简介：

杨谋星，四川大学计算机学院研究生，导师为彭玺教授，研究方向为噪声标签学习与多模态学习。