多模态学习方法综述

2020 年 5 月 6 日 专知

大数据是多源异构的。在信息技术飞速发展的今天,多模态数据已成为近来数据资源的主要形式。研究多模态学习方法,赋予计算机理解多源异构海量数据的能力具有重要价值。本文归纳了多模态的定义与多模态学习的基本任务,介绍了多模态学习的认知机理与发展过程。在此基础上,重点综述了多模态统计学习方法与深度学习方法。此外,本文系统归纳了近两年较为新颖的基于对抗学习的跨模态匹配与生成技术。本文总结了多模态学习的主要形式,并对未来可能的研究方向进行思考与展望。 

http://kns.cnki.net/kcms/detail/10.1297.TF.20200430.1223.001.html


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MLMS” 可以获取多模态学习方法综述》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
4

相关内容

现实世界中的信息通常以不同的模态出现。例如,图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如,图像通常表示为特征提取器的像素强度或输出,而文本则表示为离散的词向量。由于不同信息资源的统计特性不同,发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型,可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中,每个模态对应结合了两个深度玻尔兹曼机(deep boltzmann machines).另外一个隐藏层被放置在两个玻尔兹曼机上层,以给出联合表示。
专知会员服务
128+阅读 · 2020年7月10日
专知会员服务
107+阅读 · 2020年5月21日
大数据安全技术研究进展
专知会员服务
90+阅读 · 2020年5月2日
多模态深度学习综述,18页pdf
专知会员服务
211+阅读 · 2020年3月29日
专知会员服务
197+阅读 · 2020年3月6日
 图像内容自动描述技术综述
专知会员服务
84+阅读 · 2019年11月17日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
78+阅读 · 2019年10月12日
多模态深度学习综述,18页pdf
专知
45+阅读 · 2020年3月29日
【旷视出品】细粒度图像分析综述
专知
15+阅读 · 2019年7月11日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
4+阅读 · 2019年4月3日
Arxiv
13+阅读 · 2019年1月26日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
VIP会员
相关VIP内容
专知会员服务
128+阅读 · 2020年7月10日
专知会员服务
107+阅读 · 2020年5月21日
大数据安全技术研究进展
专知会员服务
90+阅读 · 2020年5月2日
多模态深度学习综述,18页pdf
专知会员服务
211+阅读 · 2020年3月29日
专知会员服务
197+阅读 · 2020年3月6日
 图像内容自动描述技术综述
专知会员服务
84+阅读 · 2019年11月17日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
78+阅读 · 2019年10月12日
Top
微信扫码咨询专知VIP会员