会员服务
CVPR 2023 · 多模态提示学习 · 视觉识别 ·
2023 年 3 月 10 日
【CVPR2023】带缺失模态多模态提示的视觉识别
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

本文解决了视觉识别的多模态学习中的两个挑战:1)在现实世界的训练或测试中发生模态缺失时;以及2)当计算资源无法对重型transformer模型进行微调时。**为此,我们提出利用提示学习和缓解上述两个挑战。模态缺失感知提示可插入到多模态transformer中，以处理一般的模态缺失情况，而与训练整个模型相比，只需要不到1%的可学习参数。**此外，本文还进一步探讨了不同提示配置的影响，并分析了对缺失模态的鲁棒性。大量实验表明，所提出的快速学习框架有效地提高了各种模态缺失情况下的性能，同时缓解了繁重的模型再训练需求。

https://www.zhuanzhi.ai/paper/c405e8bee58751611062dfa939e74fa3

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/c405e8bee58751611062dfa939e74fa3
Multimodal Prompting with Missing Modalities for Visual Recognition
22

相关内容

CVPR 2023大会将于 6 月 18 日至 22 日在温哥华会议中心举行。CVPR是IEEE Conference on Computer Vision and Pattern Recognition的缩写，即IEEE国际计算机视觉与模式识别会议。该会议是由IEEE举办的计算机视觉和模式识别领域的顶级会议，会议的主要内容是计算机视觉与模式识别技术。 CVPR 2023 共收到 9155 份提交，比去年增加了 12%，创下新纪录，今年接收了 2360 篇论文，接收率为 25.78%。作为对比，去年有 8100 多篇有效投稿，大会接收了 2067 篇，接收率为 25%。
【CVPR2023】GeoLayoutLM:视觉信息提取的几何预训练
【CVPR2023】GeoLayoutLM:视觉信息提取的几何预训练
专知会员服务
30+阅读 · 2023年4月25日
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
专知会员服务
39+阅读 · 2023年4月11日
【CVPR2023】深度卷积神经网络的数学架构设计
【CVPR2023】深度卷积神经网络的数学架构设计
专知会员服务
32+阅读 · 2023年3月13日
【CVPR2022】提示分布学习
【CVPR2022】提示分布学习
专知会员服务
29+阅读 · 2022年5月17日
【CVPR2022】以人为中心感知的多模态预训练
【CVPR2022】以人为中心感知的多模态预训练
专知会员服务
29+阅读 · 2022年3月28日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
32+阅读 · 2022年3月13日
【CVPR2022】三元组对比学习的视觉-语言预训练
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
视觉识别的无监督域适应研究综述
视觉识别的无监督域适应研究综述
专知会员服务
30+阅读 · 2021年12月17日
【CVPR2021】基于噪声鲁棒深度学习的快速元更新策略
专知会员服务
19+阅读 · 2021年5月4日
【CVPR2021】面向开放世界的目标检测
专知会员服务
26+阅读 · 2021年3月5日
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
专知
5+阅读 · 2023年4月11日
【CVPR2023】基于文本驱动软掩码的多模态表示学习
【CVPR2023】基于文本驱动软掩码的多模态表示学习
专知
1+阅读 · 2023年4月10日
【AAAI2023】用单塔Transformer统一视觉语言表示空间
【AAAI2023】用单塔Transformer统一视觉语言表示空间
专知
1+阅读 · 2022年11月27日
自动化所11篇NeurIPS 2022新作速览！
自动化所11篇NeurIPS 2022新作速览！
专知
0+阅读 · 2022年10月5日
论文浅尝 | 弱监督下极简的视觉语言预训练模型
论文浅尝 | 弱监督下极简的视觉语言预训练模型
开放知识图谱
1+阅读 · 2022年9月26日
CMU联手Adobe：GAN模型迎来预训练时代，仅需1%的训练样本｜CVPR 2022
CMU联手Adobe：GAN模型迎来预训练时代，仅需1%的训练样本｜CVPR 2022
新智元
0+阅读 · 2022年5月30日
【CVPR2021】跨模态检索的概率嵌入
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【CVPR2020-港科大-腾讯】基于注意力机制及多关系检测器的小样本物体检测
【CVPR2020-港科大-腾讯】基于注意力机制及多关系检测器的小样本物体检测
专知
14+阅读 · 2020年4月6日
【CVPR2020】L2 ^GCN：图卷积网络的分层学习高效训练
【CVPR2020】L2 ^GCN：图卷积网络的分层学习高效训练
专知
11+阅读 · 2020年3月31日
镜头间的风格转换行人重识别
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
距离缺失多特征融合的无人机感知与规避研究
国家自然科学基金
3+阅读 · 2014年12月31日
基于经颅超声多模态影像信息融合的帕金森病早期辅助诊断模型研究
国家自然科学基金
2+阅读 · 2014年12月31日
面向视频侦查的行人重识别关键技术研究
国家自然科学基金
3+阅读 · 2013年12月31日
基于多示例学习和半监督学习的手势语识别的研究
国家自然科学基金
0+阅读 · 2013年12月31日
高性能基准源架构及设计方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
视频的中层视觉表达和高层行为识别研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于多模态数据融合的脑肿瘤非监督识别方法研究
国家自然科学基金
2+阅读 · 2013年12月31日
δ→γ相变诱发缺陷对FeMnSi基合金记忆效应的影响及其调控
国家自然科学基金
0+阅读 · 2013年12月31日
大视场光学望远镜巡天策略研究
国家自然科学基金
0+阅读 · 2012年12月31日
面向极低质量监控图像的鲁棒性人脸超分辨率研究
国家自然科学基金
0+阅读 · 2011年12月31日
On Web-based Visual Corpus Construction for Visual Document Understanding
Arxiv
0+阅读 · 2023年5月2日
StyleFool: Fooling Video Classification Systems via Style Transfer
Arxiv
0+阅读 · 2023年5月2日
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
Arxiv
0+阅读 · 2023年5月1日
Boosting Weakly-Supervised Temporal Action Localization with Text Information
Arxiv
0+阅读 · 2023年5月1日
Frequency Regularization: Restricting Information Redundancy of Convolutional Neural Networks
Arxiv
0+阅读 · 2023年4月30日
Meta Self-Refinement for Robust Learning with Weak Supervision
Arxiv
1+阅读 · 2023年4月30日
A Simulation-Augmented Benchmarking Framework for Automatic RSO Streak Detection in Single-Frame Space Images
Arxiv
0+阅读 · 2023年4月30日
Identity-driven Three-Player Generative Adversarial Network for Synthetic-based Face Recognition
Arxiv
1+阅读 · 2023年4月30日
Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data
Arxiv
0+阅读 · 2023年4月29日
Multimodal Deep Learning
Arxiv
27+阅读 · 2023年1月12日
VIP会员
相关主题
CVPR 2023
多模态提示学习
视觉识别
相关VIP内容
【CVPR2023】GeoLayoutLM:视觉信息提取的几何预训练
【CVPR2023】GeoLayoutLM:视觉信息提取的几何预训练
专知会员服务
30+阅读 · 2023年4月25日
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
专知会员服务
39+阅读 · 2023年4月11日
【CVPR2023】深度卷积神经网络的数学架构设计
【CVPR2023】深度卷积神经网络的数学架构设计
专知会员服务
32+阅读 · 2023年3月13日
【CVPR2022】提示分布学习
【CVPR2022】提示分布学习
专知会员服务
29+阅读 · 2022年5月17日
【CVPR2022】以人为中心感知的多模态预训练
【CVPR2022】以人为中心感知的多模态预训练
专知会员服务
29+阅读 · 2022年3月28日
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
【南洋理工-CVPR2022】视觉语言模型的条件提示学习
专知会员服务
32+阅读 · 2022年3月13日
【CVPR2022】三元组对比学习的视觉-语言预训练
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
视觉识别的无监督域适应研究综述
视觉识别的无监督域适应研究综述
专知会员服务
30+阅读 · 2021年12月17日
【CVPR2021】基于噪声鲁棒深度学习的快速元更新策略
专知会员服务
19+阅读 · 2021年5月4日
【CVPR2021】面向开放世界的目标检测
专知会员服务
26+阅读 · 2021年3月5日
热门VIP内容
相关资讯
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
【CVPR2023】Vita-CLIP:通过多模态提示的视频和文本自适应CLIP
专知
5+阅读 · 2023年4月11日
【CVPR2023】基于文本驱动软掩码的多模态表示学习
【CVPR2023】基于文本驱动软掩码的多模态表示学习
专知
1+阅读 · 2023年4月10日
【AAAI2023】用单塔Transformer统一视觉语言表示空间
【AAAI2023】用单塔Transformer统一视觉语言表示空间
专知
1+阅读 · 2022年11月27日
自动化所11篇NeurIPS 2022新作速览！
自动化所11篇NeurIPS 2022新作速览！
专知
0+阅读 · 2022年10月5日
论文浅尝 | 弱监督下极简的视觉语言预训练模型
论文浅尝 | 弱监督下极简的视觉语言预训练模型
开放知识图谱
1+阅读 · 2022年9月26日
CMU联手Adobe：GAN模型迎来预训练时代，仅需1%的训练样本｜CVPR 2022
CMU联手Adobe：GAN模型迎来预训练时代，仅需1%的训练样本｜CVPR 2022
新智元
0+阅读 · 2022年5月30日
【CVPR2021】跨模态检索的概率嵌入
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【CVPR2020-港科大-腾讯】基于注意力机制及多关系检测器的小样本物体检测
【CVPR2020-港科大-腾讯】基于注意力机制及多关系检测器的小样本物体检测
专知
14+阅读 · 2020年4月6日
【CVPR2020】L2 ^GCN：图卷积网络的分层学习高效训练
【CVPR2020】L2 ^GCN：图卷积网络的分层学习高效训练
专知
11+阅读 · 2020年3月31日
镜头间的风格转换行人重识别
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
相关基金
距离缺失多特征融合的无人机感知与规避研究
国家自然科学基金
3+阅读 · 2014年12月31日
基于经颅超声多模态影像信息融合的帕金森病早期辅助诊断模型研究
国家自然科学基金
2+阅读 · 2014年12月31日
面向视频侦查的行人重识别关键技术研究
国家自然科学基金
3+阅读 · 2013年12月31日
基于多示例学习和半监督学习的手势语识别的研究
国家自然科学基金
0+阅读 · 2013年12月31日
高性能基准源架构及设计方法研究
国家自然科学基金
0+阅读 · 2013年12月31日
视频的中层视觉表达和高层行为识别研究
国家自然科学基金
0+阅读 · 2013年12月31日
基于多模态数据融合的脑肿瘤非监督识别方法研究
国家自然科学基金
2+阅读 · 2013年12月31日
δ→γ相变诱发缺陷对FeMnSi基合金记忆效应的影响及其调控
国家自然科学基金
0+阅读 · 2013年12月31日
大视场光学望远镜巡天策略研究
国家自然科学基金
0+阅读 · 2012年12月31日
面向极低质量监控图像的鲁棒性人脸超分辨率研究
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
On Web-based Visual Corpus Construction for Visual Document Understanding
Arxiv
0+阅读 · 2023年5月2日
StyleFool: Fooling Video Classification Systems via Style Transfer
Arxiv
0+阅读 · 2023年5月2日
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
Arxiv
0+阅读 · 2023年5月1日
Boosting Weakly-Supervised Temporal Action Localization with Text Information
Arxiv
0+阅读 · 2023年5月1日
Frequency Regularization: Restricting Information Redundancy of Convolutional Neural Networks
Arxiv
0+阅读 · 2023年4月30日
Meta Self-Refinement for Robust Learning with Weak Supervision
Arxiv
1+阅读 · 2023年4月30日
A Simulation-Augmented Benchmarking Framework for Automatic RSO Streak Detection in Single-Frame Space Images
Arxiv
0+阅读 · 2023年4月30日
Identity-driven Three-Player Generative Adversarial Network for Synthetic-based Face Recognition
Arxiv
1+阅读 · 2023年4月30日
Fusion for Visual-Infrared Person ReID in Real-World Surveillance Using Corrupted Multimodal Data
Arxiv
0+阅读 · 2023年4月29日
Multimodal Deep Learning
Arxiv
27+阅读 · 2023年1月12日
微信扫码咨询专知VIP会员
Top