【ICML2022】几何多模态对比表示学习

由于从不同渠道获得的数据具有固有的异质性，学习多模态数据的表示仍然是一个具有挑战性的问题，在测试时，既要有信息又要对缺失的模态具有鲁棒性。为了解决这个问题，我们提出了一种新的几何多模态对比(GMC)表示学习方法，包括两个主要组成部分: i) 一个由模态特定基编码器组成的两层架构，允许处理任意数量的模态到固定维的中间表示，以及一个共享的投影头，将中间表示映射到一个潜在的表示空间; Ii) 多模态对比损失函数，鼓励学习表征的几何对齐。我们通过实验证明，GMC表示在三个不同的学习问题(包括预测和强化学习任务)上具有丰富的语义，并在缺少模态信息的情况下实现了最先进的性能。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GMC” 就可以获取《【ICML2022】几何多模态对比表示学习》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料