【CVPR2021】跨模态检索的概率嵌入

跨模态检索方法为来自多种模态的样本建立了一个共同的表示空间，尤其是来自视觉和语言领域的样本。对于图像和它们的说明文字，对应的多样性使得这项任务特别具有挑战性。给定一个图像(分别是一个标题)，有多个同样有意义的标题(分别是图像)。在本文中，我们认为确定性函数不足以捕获这种一对多对应。相反，我们提出使用概率交叉模态嵌入(PCME)，来自不同模态的样本在公共嵌入空间中表示为概率分布。由于诸如COCO这样的通用基准测试在跨模态匹配时存在非详尽注释的问题，我们建议额外评估CUB数据集上的检索，这是一个更小但更干净的数据库，其中所有可能的图像标题对都被注释。我们广泛地ablate  PCME，并证明它不仅提高了检索性能，其确定性对等物，但也提供不确定性估计，使嵌入更可解释。

https://arxiv.org/abs/2011.11108

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“PCME” 就可以获取《【CVPR2021】跨模态检索的概率嵌入》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源