【CVPR2023】带缺失模态多模态提示的视觉识别

本文解决了视觉识别的多模态学习中的两个挑战:1)在现实世界的训练或测试中发生模态缺失时;以及2)当计算资源无法对重型transformer模型进行微调时。**为此,我们提出利用提示学习和缓解上述两个挑战。模态缺失感知提示可插入到多模态transformer中，以处理一般的模态缺失情况，而与训练整个模型相比，只需要不到1%的可学习参数。**此外，本文还进一步探讨了不同提示配置的影响，并分析了对缺失模态的鲁棒性。大量实验表明，所提出的快速学习框架有效地提高了各种模态缺失情况下的性能，同时缓解了繁重的模型再训练需求。

https://www.zhuanzhi.ai/paper/c405e8bee58751611062dfa939e74fa3

成为VIP会员查看完整内容

相关内容

CVPR 2023

关注 0

CVPR 2023大会将于 6 月 18 日至 22 日在温哥华会议中心举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。 CVPR 2023 共收到 9155 份提交，比去年增加了 12%，创下新纪录，今年接收了 2360 篇论文，接收率为 25.78%。作为对比，去年有 8100 多篇有效投稿，大会接收了 2067 篇，接收率为 25%。

【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP

专知会员服务

40+阅读 · 2023年4月11日

【CVPR2022】提示分布学习

专知会员服务

31+阅读 · 2022年5月17日

【南洋理工-CVPR2022】视觉语言模型的条件提示学习

专知会员服务

34+阅读 · 2022年3月13日

【CVPR2022】三元组对比学习的视觉-语言预训练

专知会员服务

33+阅读 · 2022年3月3日