对比学习是远程学习的一种形式,旨在从两种相关表示中学习不变特征。在本文中,我们探索了一个大胆的假设,即图像及其标题可以被简单地视为潜在相互信息的两种不同视图,并训练一个模型学习统一的视觉-语言表示空间,该空间以模态不可知的方式对两种模态进行编码。我们首先确定了学习视觉语言预训练(VLP)的通用单塔模型的困难,并提出OneR作为实现我们目标的一个简单而有效的框架。发现了一些有趣的特性,将OneR与之前学习特定模态表示空间的工作区分开,如零样本物体定位、文本引导的视觉推理和多模态检索,并提出了分析,以提供对这种新的多模态表示学习形式的见解。本文全面的评估证明了一个统一的模式不可知VLP框架的潜力。

https://www.zhuanzhi.ai/paper/4e17357dee62d9195ef21f2d22320c40

成为VIP会员查看完整内容
14

相关内容

【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【CVPR2022】跨模态检索的协同双流视觉语言预训练模型
专知会员服务
20+阅读 · 2022年4月21日
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
48+阅读 · 2021年12月20日
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
16+阅读 · 2021年2月17日
【AAAI2021】知识增强的视觉-语言预训练技术 ERNIE-ViL
专知会员服务
25+阅读 · 2021年1月29日
EMNLP 2022 | 统一指代性表达的生成和理解
PaperWeekly
1+阅读 · 2022年11月8日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
首个视觉-语言预训练综述来了!
夕小瑶的卖萌屋
6+阅读 · 2022年3月29日
AAAI2022 预训练中的多模态信息融合与表征探究
RUC AI Box
3+阅读 · 2022年3月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年1月25日
Arxiv
10+阅读 · 2021年12月9日
Arxiv
20+阅读 · 2021年9月21日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
19+阅读 · 2021年4月8日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
VIP会员
相关VIP内容
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【CVPR2022】跨模态检索的协同双流视觉语言预训练模型
专知会员服务
20+阅读 · 2022年4月21日
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
48+阅读 · 2021年12月20日
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
16+阅读 · 2021年2月17日
【AAAI2021】知识增强的视觉-语言预训练技术 ERNIE-ViL
专知会员服务
25+阅读 · 2021年1月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
相关论文
Arxiv
0+阅读 · 2023年1月25日
Arxiv
10+阅读 · 2021年12月9日
Arxiv
20+阅读 · 2021年9月21日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
19+阅读 · 2021年4月8日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
微信扫码咨询专知VIP会员