【AAAI2023】用单塔Transformer统一视觉语言表示空间

对比学习是远程学习的一种形式，旨在从两种相关表示中学习不变特征。在本文中，我们探索了一个大胆的假设，即图像及其标题可以被简单地视为潜在相互信息的两种不同视图，并训练一个模型学习统一的视觉-语言表示空间，该空间以模态不可知的方式对两种模态进行编码。我们首先确定了学习视觉语言预训练(VLP)的通用单塔模型的困难，并提出OneR作为实现我们目标的一个简单而有效的框架。发现了一些有趣的特性，将OneR与之前学习特定模态表示空间的工作区分开，如零样本物体定位、文本引导的视觉推理和多模态检索，并提出了分析，以提供对这种新的多模态表示学习形式的见解。本文全面的评估证明了一个统一的模式不可知VLP框架的潜力。

https://www.zhuanzhi.ai/paper/4e17357dee62d9195ef21f2d22320c40

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“VLST” 就可以获取《【AAAI2023】用单塔Transformer统一视觉语言表示空间》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料