会员服务
现实世界中的信息通常以不同的模态出现。例如，图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如，图像通常表示为特征提取器的像素强度或输出，而文本则表示为离散的词向量。由于不同信息资源的统计特性不同，发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型，可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中，每个模态对应结合了两个深度玻尔兹曼机（deep boltzmann machines）.另外一个隐藏层被放置在两个玻尔兹曼机上层，以给出联合表示。
Mitigating Heterogeneity in Federated Multimodal Learning with Biomedical Vision-Language Pre-training
Arxiv
0+阅读 · 4月5日
On Stronger Computational Separations Between Multimodal and Unimodal Machine Learning
Arxiv
0+阅读 · 4月2日
Multimodal Learning for Materials
Arxiv
0+阅读 · 4月5日
Multimodal Learning for Materials
Arxiv
0+阅读 · 4月12日
Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity
Arxiv
0+阅读 · 3月26日
Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages
Arxiv
0+阅读 · 3月22日
VL-Mamba: Exploring State Space Models for Multimodal Learning
Arxiv
0+阅读 · 3月20日
Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity
Arxiv
0+阅读 · 3月14日
Octavius: Mitigating Task Interference in MLLMs via LoRA-MoE
Arxiv
0+阅读 · 3月13日
Zero-Shot ECG Classification with Multimodal Learning and Test-time Clinical Knowledge Enhancement
Arxiv
0+阅读 · 3月11日
FATE in MMLA: A Student-Centred Exploration of Fairness, Accountability, Transparency, and Ethics in Multimodal Learning Analytics
Arxiv
0+阅读 · 2月29日
Robust Multimodal Learning with Missing Modalities via Parameter-Efficient Adaptation
Arxiv
0+阅读 · 2月26日
Multimodal Learned Sparse Retrieval for Image Suggestion
Multimodal Learned Sparse Retrieval for Image Suggestion
Arxiv
0+阅读 · 2月12日
A Survey on Safe Multi-Modal Learning System
Arxiv
1+阅读 · 2月8日
Large Multilingual Models Pivot Zero-Shot Multimodal Learning across Languages
Arxiv
0+阅读 · 2月5日
参考链接
微信扫码咨询专知VIP会员
Top