多模态视觉语言表征学习研究综述

2020 年 12 月 3 日 专知


我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.该文章主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化然后与文本特征通过一个强大的特征抽取器产生出表征,其中Transformer[1]作为主要的特征抽取器被应用表征学习的各类任务中.文章分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.


http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“多模态视觉语言” 就可以获取多模态视觉语言表征学习研究综述》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
25

相关内容

专知会员服务
80+阅读 · 2021年1月24日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
131+阅读 · 2021年1月13日
专知会员服务
64+阅读 · 2020年12月24日
专知会员服务
28+阅读 · 2020年12月16日
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
44+阅读 · 2020年11月20日
专知会员服务
104+阅读 · 2020年10月27日
专知会员服务
65+阅读 · 2020年10月2日
领域知识图谱研究综述
专知
15+阅读 · 2020年8月2日
深度学习模型可解释性的研究进展
专知
21+阅读 · 2020年8月1日
深度学习可解释性研究进展
专知
17+阅读 · 2020年6月26日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
多模态深度学习综述,18页pdf
专知
45+阅读 · 2020年3月29日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
Arxiv
0+阅读 · 2021年1月30日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
11+阅读 · 2020年8月3日
Arxiv
28+阅读 · 2020年3月16日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
54+阅读 · 2019年7月31日
Arxiv
3+阅读 · 2019年3月1日
Attend More Times for Image Captioning
Arxiv
6+阅读 · 2018年12月8日
Arxiv
134+阅读 · 2018年10月8日
Arxiv
5+阅读 · 2018年4月30日
VIP会员
相关VIP内容
专知会员服务
80+阅读 · 2021年1月24日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
131+阅读 · 2021年1月13日
专知会员服务
64+阅读 · 2020年12月24日
专知会员服务
28+阅读 · 2020年12月16日
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
44+阅读 · 2020年11月20日
专知会员服务
104+阅读 · 2020年10月27日
专知会员服务
65+阅读 · 2020年10月2日
相关论文
Arxiv
0+阅读 · 2021年1月30日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
11+阅读 · 2020年8月3日
Arxiv
28+阅读 · 2020年3月16日
Deep Learning in Video Multi-Object Tracking: A Survey
Arxiv
54+阅读 · 2019年7月31日
Arxiv
3+阅读 · 2019年3月1日
Attend More Times for Image Captioning
Arxiv
6+阅读 · 2018年12月8日
Arxiv
134+阅读 · 2018年10月8日
Arxiv
5+阅读 · 2018年4月30日
Top
微信扫码咨询专知VIP会员