我们生活在一个由大量不同模态内容构建而成的多媒体世界中,不同模态信息之间具有高度的相关性和互补性,多模态表征学习的主要目的就是挖掘出不同模态之间的共性和特性,产生出可以表示多模态信息的隐含向量.该文章主要介绍了目前应用较广的视觉语言表征的相应研究工作,包括传统的基于相似性模型的研究方法和目前主流的基于语言模型的预训练的方法.目前比较好的思路和解决方案是将视觉特征语义化然后与文本特征通过一个强大的特征抽取器产生出表征,其中Transformer[1]作为主要的特征抽取器被应用表征学习的各类任务中.文章分别从研究背景、不同研究方法的划分、测评方法、未来发展趋势等几个不同角度进行阐述.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1

成为VIP会员查看完整内容
185

相关内容

在机器学习中,表征学习或表示学习是允许系统从原始数据中自动发现特征检测或分类所需的表示的一组技术。这取代了手动特征工程,并允许机器学习特征并使用它们执行特定任务。在有监督的表征学习中,使用标记的输入数据来学习特征,包括监督神经网络,多层感知器和(监督)字典学习。在无监督表征学习中,特征是与未标记的输入数据一起学习的,包括字典学习,独立成分分析,自动编码器,矩阵分解和各种形式的聚类。
专知会员服务
80+阅读 · 2021年1月24日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
64+阅读 · 2020年12月24日
专知会员服务
28+阅读 · 2020年12月16日
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
104+阅读 · 2020年10月27日
基于知识图谱的推荐系统研究综述
专知会员服务
317+阅读 · 2020年8月10日
实体关系抽取方法研究综述
专知会员服务
173+阅读 · 2020年7月19日
领域知识图谱研究综述
专知
15+阅读 · 2020年8月2日
深度学习可解释性研究进展
专知
17+阅读 · 2020年6月26日
知识图谱最新研究综述
深度学习自然语言处理
44+阅读 · 2020年6月14日
论文解读|知识图谱最新研究综述
AINLP
17+阅读 · 2020年5月4日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
神经机器阅读理解最新综述:方法和趋势
PaperWeekly
15+阅读 · 2019年7月25日
综述 | 事件抽取及推理 (下)
开放知识图谱
38+阅读 · 2019年1月14日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
AI综述专栏|多模态学习研究进展综述
人工智能前沿讲习班
64+阅读 · 2018年7月13日
深度学习综述(下载PDF版)
机器学习算法与Python学习
27+阅读 · 2018年7月3日
Arxiv
0+阅读 · 2021年1月19日
Arxiv
4+阅读 · 2019年4月25日
S4Net: Single Stage Salient-Instance Segmentation
Arxiv
10+阅读 · 2019年4月10日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
6+阅读 · 2018年4月21日
Arxiv
150+阅读 · 2017年8月1日
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关VIP内容
专知会员服务
80+阅读 · 2021年1月24日
专知会员服务
50+阅读 · 2021年1月19日
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
64+阅读 · 2020年12月24日
专知会员服务
28+阅读 · 2020年12月16日
专知会员服务
112+阅读 · 2020年12月9日
专知会员服务
104+阅读 · 2020年10月27日
基于知识图谱的推荐系统研究综述
专知会员服务
317+阅读 · 2020年8月10日
实体关系抽取方法研究综述
专知会员服务
173+阅读 · 2020年7月19日
相关资讯
领域知识图谱研究综述
专知
15+阅读 · 2020年8月2日
深度学习可解释性研究进展
专知
17+阅读 · 2020年6月26日
知识图谱最新研究综述
深度学习自然语言处理
44+阅读 · 2020年6月14日
论文解读|知识图谱最新研究综述
AINLP
17+阅读 · 2020年5月4日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
神经机器阅读理解最新综述:方法和趋势
PaperWeekly
15+阅读 · 2019年7月25日
综述 | 事件抽取及推理 (下)
开放知识图谱
38+阅读 · 2019年1月14日
图神经网络综述:模型与应用
PaperWeekly
193+阅读 · 2018年12月26日
AI综述专栏|多模态学习研究进展综述
人工智能前沿讲习班
64+阅读 · 2018年7月13日
深度学习综述(下载PDF版)
机器学习算法与Python学习
27+阅读 · 2018年7月3日
相关论文
Arxiv
0+阅读 · 2021年1月19日
Arxiv
4+阅读 · 2019年4月25日
S4Net: Single Stage Salient-Instance Segmentation
Arxiv
10+阅读 · 2019年4月10日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
6+阅读 · 2018年4月21日
Arxiv
150+阅读 · 2017年8月1日
Arxiv
3+阅读 · 2012年11月20日
微信扫码咨询专知VIP会员