尽管许多多模态机器学习方法相较于单一感知的单模态方法在准确性上取得了优越的表现,但它们隐含地假设视觉模态总是清晰的。然而,这一假设在实际应用中容易被证伪,因为在日常环境中,视觉条件不佳的情况十分常见。我们发现,当视觉条件具有挑战性时,现有的机器学习方法往往无法有效地利用其他模态的信息。因此,它们过度依赖视觉模态,因为在训练数据中,视觉模态通常是可靠且信息丰富的。结果,当视觉条件变差并开始包含误导性信息时,这些方法无法适应。此外,传统的多模态模型从未学会在视觉挑战场景中找到跨模态的对应关系。本论文旨在研究在视觉挑战条件下的多模态学习。我们将在各个章节中分别探讨每种变化,并提出我们的解决方案,以实现更有效的多模态表示学习。最后,在论文的最后一章,我们将提供一个简要的结论。我们希望我们的研究能激发更多关于视觉挑战条件下多模态学习的研究。

https://hdl.handle.net/11245.1/bf8162ca-b205-40d2-b214-5c2a1ed17a19

成为VIP会员查看完整内容
12

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【MIT博士论文】合成数据的视觉表示学习
专知会员服务
21+阅读 · 8月25日
【ETHZ博士论文】在弱监督学习中施加和揭示群组结构
专知会员服务
20+阅读 · 2023年10月15日
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
【UFPE大学博士论文】基于熵损失的鲁棒深度学习
专知会员服务
41+阅读 · 2022年11月11日
【伯克利博士论文】学习跨领域的可迁移表示
专知会员服务
45+阅读 · 2022年8月17日
专知会员服务
64+阅读 · 2021年7月25日
「基于通信的多智能体强化学习」 进展综述
数据受限条件下的多模态处理技术综述
专知
16+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
27+阅读 · 2022年7月13日
【AI与医学】多模态机器学习精准医疗健康
深度学习模型可解释性的研究进展
专知
25+阅读 · 2020年8月1日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
Arxiv
155+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
395+阅读 · 2023年3月31日
Arxiv
137+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员