会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。
多模态怎么用自监督？爱丁堡等最新《自监督多模态学习》综述，详述目标函数、数据对齐和模型架构
多模态怎么用自监督？爱丁堡等最新《自监督多模态学习》综述，详述目标函数、数据对齐和模型架构
专知
8+阅读 · 2023年4月6日
北京内推 | 微软研究院科学智能中心招聘多模态学习方向研究实习生
北京内推 | 微软研究院科学智能中心招聘多模态学习方向研究实习生
PaperWeekly
0+阅读 · 2022年11月30日
火了一整年的多模态学习，在工业界的落地和实践进展到底怎么样了？
火了一整年的多模态学习，在工业界的落地和实践进展到底怎么样了？
机器之心
0+阅读 · 2022年11月23日
NUS招收GNN方向博士
NUS招收GNN方向博士
图与推荐
0+阅读 · 2022年10月31日
多模态数据如何学习？UIC最新《视觉+X:数据视角下的多模态学习》研究综述，21页pdf涵盖269篇文献详述多模态机器学习进展
多模态数据如何学习？UIC最新《视觉+X:数据视角下的多模态学习》研究综述，21页pdf涵盖269篇文献详述多模态机器学习进展
专知
1+阅读 · 2022年10月9日
多模态图学习怎么用？哈佛最新《几何多模态表示学习》综述，28页pdf阐述多模态图学习在图像、语言、自然科学等应用
多模态图学习怎么用？哈佛最新《几何多模态表示学习》综述，28页pdf阐述多模态图学习在图像、语言、自然科学等应用
专知
2+阅读 · 2022年9月8日
写了一篇关于 多模态学习 综述的综述！
写了一篇关于 多模态学习 综述的综述！
PaperWeekly
1+阅读 · 2022年8月17日
【CMU博士论文】视频多模态学习：探索模型和任务复杂性，152页pdf
【CMU博士论文】视频多模态学习：探索模型和任务复杂性，152页pdf
专知
1+阅读 · 2022年8月10日
数据受限条件下的多模态处理技术综述
数据受限条件下的多模态处理技术综述
专知
16+阅读 · 2022年7月16日
北京/上海内推 | 商汤研究院基础视觉组招聘计算机视觉实习生和正式员工
北京/上海内推 | 商汤研究院基础视觉组招聘计算机视觉实习生和正式员工
PaperWeekly
0+阅读 · 2022年6月23日
CVPR 2022 Oral｜OGM-GE：基于动态梯度调节的平衡化多模态学习
CVPR 2022 Oral｜OGM-GE：基于动态梯度调节的平衡化多模态学习
CVer
1+阅读 · 2022年5月3日
有人翻小红书种草，有人却翻到了最新AI技术趋势
有人翻小红书种草，有人却翻到了最新AI技术趋势
THU数据派
0+阅读 · 2022年4月26日
今天起，种草小红书的多模态AI技术
今天起，种草小红书的多模态AI技术
机器之心
2+阅读 · 2022年4月25日
有人翻小红书种草，有人却翻到了最新AI技术趋势
有人翻小红书种草，有人却翻到了最新AI技术趋势
量子位
0+阅读 · 2022年4月23日
CVPR2022 Oral | 多模态学习中的贡献不平衡问题
CVPR2022 Oral | 多模态学习中的贡献不平衡问题
专知
3+阅读 · 2022年4月21日
参考链接
微信扫码咨询专知VIP会员
Top