会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。

精品内容

【AAAI2025】基于检索增强的动态提示调优在不完整多模态学习中的应用
【AAAI2025】基于检索增强的动态提示调优在不完整多模态学习中的应用
专知会员服务
11+阅读 · 1月3日
多模态可解释人工智能综述：过去、现在与未来
多模态可解释人工智能综述：过去、现在与未来
专知会员服务
40+阅读 · 2024年12月20日
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU等团队发布医疗多模态技术最新综述
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU等团队发布医疗多模态技术最新综述
专知会员服务
17+阅读 · 2024年11月25日
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU团队发布医疗多模态技术最新综述
多模态学习是否在医疗保健领域提供了通用智能？NUS/北邮/NTU团队发布医疗多模态技术最新综述
专知会员服务
11+阅读 · 2024年11月23日
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
【阿姆斯特丹博士论文】在视觉挑战条件下的多模态学习
专知会员服务
24+阅读 · 2024年11月5日
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
【NeurlPS2024】一种适用于跨模态和任务的视觉-语言模型的统一去偏方法
专知会员服务
19+阅读 · 2024年10月11日
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
【牛津大学博士论文】使用多模态学习的手语理解，259页pdf
专知会员服务
18+阅读 · 2024年9月14日
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
如何处理模态缺失？首篇《缺失模态的深度多模态学习》全面综述
专知会员服务
27+阅读 · 2024年9月13日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
16+阅读 · 2024年9月1日
分析学习和训练环境的多模态方法
分析学习和训练环境的多模态方法
专知会员服务
9+阅读 · 2024年9月1日
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
【牛津大学博士论文】从多模态数据中学习表示，258页pdf
专知会员服务
49+阅读 · 2024年7月28日
基于文本的3D视觉定位综述：要素、最新进展与未来方向
基于文本的3D视觉定位综述：要素、最新进展与未来方向
专知会员服务
22+阅读 · 2024年6月17日
【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf
【CMU博士论文】多模态学习的对齐性、鲁棒性和泛化性，220页pdf
专知会员服务
42+阅读 · 2024年6月7日
【阿姆斯特丹博士论文】多模态学习算法的序列建模和表示学习
【阿姆斯特丹博士论文】多模态学习算法的序列建模和表示学习
专知会员服务
24+阅读 · 2024年6月1日
多模态如何用于AI4Science？微软人大最新《生物分子和自然语言的多模态学习》综述
多模态如何用于AI4Science？微软人大最新《生物分子和自然语言的多模态学习》综述
专知会员服务
27+阅读 · 2024年3月5日
参考链接
微信扫码咨询专知VIP会员
Top