ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架

2020 年 7 月 19 日 专知

导读


本文是计算机视觉领域顶级会议 ECCV 2020 入选 Oral 论文《基于信息论的半监督多模态学习框架 (TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning)》的解读。



论文链接:https://arxiv.org/abs/2007.06793



01

引言


比起仅仅利用单个模态的数据,融合多个模态的数据信息能够训练出更加准确且鲁棒的分类器。比如,模型可以用X光图片、临床指标等数据来预测病人的身体情况。但是在实际中,多模态的精标注数据十分昂贵,往往只能在每个模态上获取少量标注数据。如何利用少量的多模态标注数据来高效地训练分类器成为一个关键问题。


本文将这个问题转化为等价的半监督+多模态学习问题。在这个背景下,我们关注如何在训练中利用好未标注的多模态数据。本文的贡献在于,设计一个全相关(Total Correlation)的下界作为在未标注的多模态数据上的目标函数,来更好地融合跨模态的信息。全相关(Total Correlation)是关于多个随机变量之间共有信息的度量,在两个随机变量下全相关退化为互信息(Mutual Information)。


更具体地,本文提出去最大化每个模态的全相关增益(Total Correlation Gain)。每个模态上都有一个分类器,而这些分类器的共同的目标就是在未标注数据上,去最大化它们的全相关增益。若我们假设所有模态的信息关于真实标注(ground truth)是条件独立的,最大化全相关增益直观地来看是去找到所有模态之间的“信息交集”,即真实标注。如下图所示:左图是对条件独立的直观阐释,右图是对真实标注是“信息交集”的图示。在最大化全相关增益的过程中,每个模态上的分类器能够更好地利用其他模态的信息。

图1. (左图)条件独立假设;(右图)真实标注是“信息交集”


02

方法


给定未标注的数据集   与标注数据   ,其中   表示第   个样本的   个模态的数据,   表示第   个样本的真实标注。此外,将在第   个模态上的分类器记为   ,类别   的先验记为   。本文提出的半监督+多模态学习方法为可以总结为,在   上用传统的交叉熵损失函数分别训练每个模态的分类器   ,在   上用全相关增益来共同训练所有的分类器。


关于如何衡量全相关增益,本文扩展[1]中的互信息增益到全相关增益上。它的实质是   在给定密度比值后的对偶下界。全相关增益具体表达如下:

其中   为从共同分布中采样的样本数。直观来看,全相关增益鼓励分类器在采样自共同分布的多模态数据上的输出结果相似(第二项),在采样自边缘分布乘积的数据上的输出结果不同(第三项),类似对比学习(Contrastive Learning)。在   时的可视化见下图。此外,我们证明了在期望下,当每个模态上的分类器是贝叶斯最优分类器时,全相关增益取得最大值。

图2. 三个模态上 TCGM 的计算


03

实验结果


我们在三个多模态数据集上验证我们的方法:新闻分类数据集 Newsgroup;情感分类数据集 IEMOCAP 与 MOSI;与医疗图像数据集 ADNI。我们在不同比例的标注数据下做了多组实验,结果如下:

 图3. Newsgroup 实验结果


图4. IEMOCAP/MOSI(部分)实验结果


图5. ADNI 实验结果


我们的方法 TCGM(Total Correlation Gain Maximization)在不同的标注比例下的半监督+多模态学习中都取得较好效果。在训练中,不仅单个模态的分类器表现得到提升,在利用所有分类器来预测标注的情况下,TCGM 也好于其他方法。


04

总结


在本文中,我们提出了一个基于信息论的半监督多模态框架。在所有模态关于真实标注条件独立的假设下,我们通过在未标注数据上最大化全相关增益来融合各个模态之间的信息。理论和实验结果都证实了这个框架的有效性。


参考文献

[1] Peng Cao, Yilun Xu, Yuqing Kong and Yizhou Wang: Max-MIG: an Information Theoretic Approach for Joint Learning from Crowds. In ICLR 2019.

论文解读


ECCV

European Conference on Computer Vision (ECCV),即欧洲计算机视觉国际会议,是计算机视觉领域国际顶级会议,与计算机视觉模式识别会议(CVPR)和国际计算机视觉大会(IEEE ICCV)并称计算机视觉方向的三大顶级会议。ECCV每两年召开一次,受新冠疫情影响,ECCV 2020 将于2020年8月23-28日以在线方式举行。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“S358” 可以获取《358篇机器学习&自然语言处理综述论文》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
66+阅读 · 2020年10月6日
近期必读的六篇 ICML 2020【域自适应】相关论文
专知会员服务
46+阅读 · 2020年9月29日
近期必读的六篇 ICML 2020【对比学习】相关论文
专知会员服务
56+阅读 · 2020年9月15日
近期必读的六篇 ICML 2020【因果推理】相关论文
专知会员服务
87+阅读 · 2020年9月8日
最新《多任务学习》综述,39页pdf
专知会员服务
258+阅读 · 2020年7月10日
【ICML 2020 】小样本学习即领域迁移
专知会员服务
77+阅读 · 2020年6月26日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
专知会员服务
214+阅读 · 2020年5月6日
ICCV2019|基于全局类别表征的小样本学习
极市平台
11+阅读 · 2019年9月21日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
37+阅读 · 2019年7月25日
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
半监督深度学习小结:类协同训练和一致性正则化
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
25+阅读 · 2018年12月13日
Arxiv
4+阅读 · 2020年3月27日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Neural Arithmetic Logic Units
Arxiv
5+阅读 · 2018年8月1日
Arxiv
9+阅读 · 2018年3月28日
VIP会员
相关VIP内容
【NeurIPS 2020】基于因果干预的小样本学习
专知会员服务
66+阅读 · 2020年10月6日
近期必读的六篇 ICML 2020【域自适应】相关论文
专知会员服务
46+阅读 · 2020年9月29日
近期必读的六篇 ICML 2020【对比学习】相关论文
专知会员服务
56+阅读 · 2020年9月15日
近期必读的六篇 ICML 2020【因果推理】相关论文
专知会员服务
87+阅读 · 2020年9月8日
最新《多任务学习》综述,39页pdf
专知会员服务
258+阅读 · 2020年7月10日
【ICML 2020 】小样本学习即领域迁移
专知会员服务
77+阅读 · 2020年6月26日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
81+阅读 · 2020年6月9日
专知会员服务
214+阅读 · 2020年5月6日
Top
微信扫码咨询专知VIP会员