会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。
Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE
Arxiv
0+阅读 · 11月25日
Weakly-Supervised Multimodal Learning on MIMIC-CXR
Arxiv
0+阅读 · 11月15日
AutoGameUI: Constructing High-Fidelity Game UIs via Multimodal Learning and Interactive Web-Based Tool
Arxiv
0+阅读 · 11月6日
Deep Multimodal Learning with Missing Modality: A Survey
Arxiv
0+阅读 · 10月21日
On-the-fly Modulation for Balanced Multimodal Learning
Arxiv
0+阅读 · 10月15日
Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation
Arxiv
0+阅读 · 10月7日
A Comprehensive Survey on Deep Multimodal Learning with Missing Modality
Arxiv
0+阅读 · 9月13日
A Comprehensive Survey on Deep Multimodal Learning with Missing Modality
Arxiv
0+阅读 · 9月12日
A Survey of Multimodal Composite Editing and Retrieval
Arxiv
0+阅读 · 9月9日
A Survey of Multimodal Composite Editing and Retrieval
Arxiv
0+阅读 · 9月11日
Toward Robust Early Detection of Alzheimer's Disease via an Integrated Multimodal Learning Approach
Arxiv
0+阅读 · 8月29日
Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation
Arxiv
0+阅读 · 9月17日
Has Multimodal Learning Delivered Universal Intelligence in Healthcare? A Comprehensive Survey
Arxiv
0+阅读 · 8月23日
Mental-Perceiver: Audio-Textual Multimodal Learning for Mental Health Assessment
Arxiv
0+阅读 · 8月22日
Efficient Multimodal Learning from Data-centric Perspective
Arxiv
0+阅读 · 7月22日
参考链接
微信扫码咨询专知VIP会员
Top