视觉基础模型(Vision Foundation Models,VFMs)与视觉语言模型(Vision-Language Models,VLMs)因其强大的泛化能力,在**跨领域语义分割(Domain Generalized Semantic Segmentation,DGSS)**任务中获得了广泛关注[^1]。然而,现有的 DGSS 方法通常仅依赖 VFMs 或 VLMs 中的一类,忽视了二者的互补优势。 VFMs(如 DINOv2)在捕捉细粒度特征方面表现优异,而 VLMs(如 CLIP)在文本对齐方面具有强大的鲁棒性,但在处理粗粒度信息时则存在一定困难。尽管它们在能力上互为补充,但利用注意力机制将 VFMs 与 VLMs 有效融合仍具有挑战性,因为更大量的 patch token 会加剧长序列建模的复杂性。 为了解决这一问题,我们提出了 MFuser——一种基于 Mamba 的新型融合框架,能够高效整合 VFMs 与 VLMs 的优势,并在序列长度上保持线性扩展性。MFuser 包含两个关键模块: * MVFuser:一个协同适配器(co-adapter),通过捕捉时序与空间动态,实现对两个模型的联合微调; * MTEnhancer:一个融合注意力机制与 Mamba 的模块,通过引入图像先验来优化文本嵌入表示。

我们的方法在实现精准的特征定位与强文本对齐能力的同时,并未带来显著的计算开销。大量实验证明,MFuser 在多个基准任务上显著优于当前最先进的 DGSS 方法:在合成到真实场景(synthetic-to-real)上取得 68.20 mIoU,在真实到真实场景(real-to-real)上取得 71.87 mIoU 的优异成绩。 项目代码已开源,地址:https://github.com/devinxzhang/MFuser

成为VIP会员查看完整内容
1

相关内容

【CVPR2022】基于样例查询机制的在线动作检测
专知会员服务
10+阅读 · 2022年3月23日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
16+阅读 · 2022年3月17日
专知会员服务
51+阅读 · 2021年8月13日
专知会员服务
15+阅读 · 2021年8月2日
【ACL2020】多模态信息抽取,365页ppt
专知会员服务
149+阅读 · 2020年7月6日
Caffe 深度学习框架上手教程
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月12日
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月3日
A Survey of Large Language Models
Arxiv
448+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
【CVPR2022】基于样例查询机制的在线动作检测
专知会员服务
10+阅读 · 2022年3月23日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
16+阅读 · 2022年3月17日
专知会员服务
51+阅读 · 2021年8月13日
专知会员服务
15+阅读 · 2021年8月2日
【ACL2020】多模态信息抽取,365页ppt
专知会员服务
149+阅读 · 2020年7月6日
相关基金
国家自然科学基金
14+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员