会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。

精品内容

多模态可解释人工智能综述：过去、现在与未来
多模态可解释人工智能综述：过去、现在与未来
专知会员服务
30+阅读 · 12月20日
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU等团队发布医疗多模态技术最新综述
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU等团队发布医疗多模态技术最新综述
专知会员服务
14+阅读 · 11月25日
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU团队发布医疗多模态技术最新综述
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU团队发布医疗多模态技术最新综述
专知会员服务
10+阅读 · 11月23日
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
专知会员服务
23+阅读 · 11月5日
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
专知会员服务
18+阅读 · 10月11日
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
专知会员服务
17+阅读 · 9月14日
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
专知会员服务
23+阅读 · 9月13日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
15+阅读 · 9月1日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
8+阅读 · 9月1日
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
专知会员服务
48+阅读 · 7月28日
基于文本的3D视觉定位综述：要素、最新进展与未来方向
基于文本的3D视觉定位综述：要素、最新进展与未来方向
专知会员服务
21+阅读 · 6月17日
【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf
【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf
专知会员服务
41+阅读 · 6月7日
【阿姆斯特丹博士论文】多模态学习算法的序列建模和表示学习
【阿姆斯特丹博士论文】多模态学习算法的序列建模和表示学习
专知会员服务
21+阅读 · 6月1日
多模态如何用于AI4Science？微软人大最新《生物分子和自然语言的多模态学习》综述
多模态如何用于AI4Science？微软人大最新《生物分子和自然语言的多模态学习》综述
专知会员服务
26+阅读 · 3月5日
KG如何结合多模态？《知识图谱遇见多模态学习》综述，55页pdf
KG如何结合多模态？《知识图谱遇见多模态学习》综述，55页pdf
专知会员服务
60+阅读 · 2月9日
参考链接
微信扫码咨询专知VIP会员
Top