论文题目:Balanced Audio-visual Learning via On-the-fly Gradient Modulation

作者:彭小康*,卫雅珂*,邓安东,王栋,胡迪

通讯作者:胡迪

论文概述:视听学习通过整合不同的感官,有助于全面了解世界。因此,多输入模态有望提高模型性能,但我们实际上发现即使多模态模型优于其单模态模型,它们也没有得到充分利用。具体来说,在本文中,我们指出现有的视听判别模型(其中为所有模态设计了统一的目标)可能仍然存在欠优化的单模态表示,这是由某些场景中的另一种主导模态引起的。为了缓解这种优化不平衡,我们提出了动态梯度调制,通过监控它们对学习目标的贡献的差异来自适应地控制每种模态的优化。

此外,引入了动态变化的额外高斯噪声,以避免梯度调制引起的泛化下降。因此,我们在不同的视听任务上实现了对普通融合方法的相当大的改进,这种简单的策略也可以提升现有的多模态方法,这说明了它的有效性和多功能性。

成为VIP会员查看完整内容
5
0

相关内容

CVPR 2022 将于2022年 6 月 21-24 日在美国的新奥尔良举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写,即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议,会议的主要内容是计算机视觉与模式识别技术。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
18+阅读 · 2021年9月16日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
38+阅读 · 2020年1月23日
TPAMI 2021|VideoDG:首个视频领域泛化模型
专知
0+阅读 · 2021年12月31日
Arxiv'21 | Graph Federated Learning
图与推荐
0+阅读 · 2021年11月17日
NeuralPS'20 | Graph Meta Learning via Local Subgraphs
图与推荐
1+阅读 · 2021年10月29日
度量学习中的pair-based loss
极市平台
63+阅读 · 2019年7月17日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
13+阅读 · 2018年5月29日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
27+阅读 · 2021年3月29日
Arxiv
11+阅读 · 2020年8月3日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
小贴士
相关VIP内容
专知会员服务
18+阅读 · 2021年9月16日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
38+阅读 · 2020年1月23日
相关资讯
TPAMI 2021|VideoDG:首个视频领域泛化模型
专知
0+阅读 · 2021年12月31日
Arxiv'21 | Graph Federated Learning
图与推荐
0+阅读 · 2021年11月17日
NeuralPS'20 | Graph Meta Learning via Local Subgraphs
图与推荐
1+阅读 · 2021年10月29日
度量学习中的pair-based loss
极市平台
63+阅读 · 2019年7月17日
Unsupervised Learning via Meta-Learning
CreateAMind
33+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
13+阅读 · 2018年5月29日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员