会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。

精品内容

【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
专知会员服务
21+阅读 · 11月5日
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
专知会员服务
18+阅读 · 10月11日
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
专知会员服务
16+阅读 · 9月14日
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
专知会员服务
23+阅读 · 9月13日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
15+阅读 · 9月1日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
8+阅读 · 9月1日
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
专知会员服务
48+阅读 · 7月28日
基于文本的3D视觉定位综述：要素、最新进展与未来方向
基于文本的3D视觉定位综述：要素、最新进展与未来方向
专知会员服务
21+阅读 · 6月17日
【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf
【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf
专知会员服务
38+阅读 · 6月7日
【阿姆斯特丹博士论文】多模态学习算法的序列建模和表示学习
【阿姆斯特丹博士论文】多模态学习算法的序列建模和表示学习
专知会员服务
21+阅读 · 6月1日
多模态如何用于AI4Science？微软人大最新《生物分子和自然语言的多模态学习》综述
多模态如何用于AI4Science？微软人大最新《生物分子和自然语言的多模态学习》综述
专知会员服务
26+阅读 · 3月5日
KG如何结合多模态？《知识图谱遇见多模态学习》综述，55页pdf
KG如何结合多模态？《知识图谱遇见多模态学习》综述，55页pdf
专知会员服务
60+阅读 · 2月9日
《多模态3D场景理解》最新综述
《多模态3D场景理解》最新综述
专知会员服务
186+阅读 · 2023年10月28日
基于多模态学习的虚假新闻检测研究
基于多模态学习的虚假新闻检测研究
专知会员服务
28+阅读 · 2023年9月8日
【ICCV2023】保留模态结构改进多模态学习
【ICCV2023】保留模态结构改进多模态学习
专知会员服务
28+阅读 · 2023年8月28日
参考链接
微信扫码咨询专知VIP会员
Top