Semi-supervised remote sensing (RS) image semantic segmentation offers a promising solution to alleviate the burden of exhaustive annotation, yet it fundamentally struggles with pseudo-label drift, a phenomenon where confirmation bias leads to the accumulation of errors during training. In this work, we propose Co2S, a stable semi-supervised RS segmentation framework that synergistically fuses priors from vision-language models and self-supervised models. Specifically, we construct a heterogeneous dual-student architecture comprising two distinct ViT-based vision foundation models initialized with pretrained CLIP and DINOv3 to mitigate error accumulation and pseudo-label drift. To effectively incorporate these distinct priors, an explicit-implicit semantic co-guidance mechanism is introduced that utilizes text embeddings and learnable queries to provide explicit and implicit class-level guidance, respectively, thereby jointly enhancing semantic consistency. Furthermore, a global-local feature collaborative fusion strategy is developed to effectively fuse the global contextual information captured by CLIP with the local details produced by DINOv3, enabling the model to generate highly precise segmentation results. Extensive experiments on six popular datasets demonstrate the superiority of the proposed method, which consistently achieves leading performance across various partition protocols and diverse scenarios. Project page is available at https://xavierjiezou.github.io/Co2S/.


翻译:半监督遥感图像语义分割为缓解详尽标注负担提供了有前景的解决方案,但其本质上受困于伪标签漂移问题——即训练过程中确认偏差导致误差累积的现象。本文提出Co2S,一种稳定的半监督遥感分割框架,通过协同融合视觉语言模型与自监督模型的先验知识来应对这一挑战。具体而言,我们构建了一种异构双学生架构,包含两个基于ViT的视觉基础模型,分别使用预训练的CLIP和DINOv3进行初始化,以抑制误差累积和伪标签漂移。为有效整合这两种异构先验,我们提出显式-隐式语义协同引导机制:利用文本嵌入提供显式的类别级引导,同时通过可学习查询向量实现隐式类别引导,从而共同增强语义一致性。此外,我们设计了全局-局部特征协同融合策略,将CLIP捕获的全局上下文信息与DINOv3提取的局部细节特征进行有效融合,使模型能够生成高精度分割结果。在六个主流数据集上的大量实验证明了本方法的优越性,其在多种数据划分协议和不同场景下均取得领先性能。项目页面详见https://xavierjiezou.github.io/Co2S/。

0
下载
关闭预览

相关内容

[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
17+阅读 · 2024年5月23日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
NLG任务评价指标BLEU与ROUGE
AINLP
21+阅读 · 2020年5月25日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
NLG任务评价指标BLEU与ROUGE
AINLP
21+阅读 · 2020年5月25日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员