成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
多模态学习
关注
44
现实世界中的信息通常以不同的模态出现。例如,图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如,图像通常表示为特征提取器的像素强度或输出,而文本则表示为离散的词向量。由于不同信息资源的统计特性不同,发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型,可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中,每个模态对应结合了两个深度玻尔兹曼机(deep boltzmann machines).另外一个隐藏层被放置在两个玻尔兹曼机上层,以给出联合表示。
综合
百科
VIP
热门
动态
论文
精华
ECCV 2020 Oral | TCGM:基于信息论的半监督多模态学习框架
专知
2+阅读 · 2020年7月19日
Jeff Dean谈2020年机器学习趋势:多任务和多模态会有大进展
量子位
0+阅读 · 2019年12月15日
ECCV 2018 | DeepMind新研究连接听与看,实现「听声辨位」的多模态学习
机器之心
2+阅读 · 2018年8月7日
博士申请 | 清华大学交叉信息院赵行老师招收多模态学习、自动驾驶方向博士生
PaperWeekly
1+阅读 · 2022年3月21日
有人翻小红书种草,有人却翻到了最新AI技术趋势
THU数据派
0+阅读 · 2022年4月26日
LeCun看了都说好!Meta AI一次搞定语音、视觉和文本三个SOTA
新智元
1+阅读 · 2022年2月15日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
NUS招收GNN方向博士
图与推荐
0+阅读 · 2022年10月31日
CAAI特约专栏丨沈晓卫 人工智能 : 预见 2018
中国人工智能学会
1+阅读 · 2018年3月12日
多模态学习研讨会:预训练是AI未来所需要的全部吗?
微软研究院AI头条
1+阅读 · 2019年12月18日
搜图、裁剪一步到位,有人用YOLOv5和CLIP做了一个找图神器,在线可试用
机器之心
1+阅读 · 2022年1月3日
多模态图学习怎么用?哈佛最新《几何多模态表示学习》综述,28页pdf阐述多模态图学习在图像、语言、自然科学等应用
专知
2+阅读 · 2022年9月8日
【CMU博士论文】视频多模态学习:探索模型和任务复杂性,152页pdf
专知
1+阅读 · 2022年8月10日
火爆的多模态学习,小红书即将开讲!
CVer
1+阅读 · 2022年4月18日
多模态数据如何学习?UIC最新《视觉+X:数据视角下的多模态学习》研究综述,21页pdf涵盖269篇文献详述多模态机器学习进展
专知
1+阅读 · 2022年10月9日
参考链接
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top