【ICML2022】几何多模态对比表示学习

由于从不同渠道获得的数据具有固有的异质性，学习多模态数据的表示仍然是一个具有挑战性的问题，在测试时，既要有信息又要对缺失的模态具有鲁棒性。为了解决这个问题，我们提出了一种新的几何多模态对比(GMC)表示学习方法，包括两个主要组成部分: i) 一个由模态特定基编码器组成的两层架构，允许处理任意数量的模态到固定维的中间表示，以及一个共享的投影头，将中间表示映射到一个潜在的表示空间; Ii) 多模态对比损失函数，鼓励学习表征的几何对齐。我们通过实验证明，GMC表示在三个不同的学习问题(包括预测和强化学习任务)上具有丰富的语义，并在缺少模态信息的情况下实现了最先进的性能。