Accurately and swiftly assessing damage from conflicts is crucial for humanitarian aid and regional stability. In conflict zones, damaged zones often share similar architectural styles, with damage typically covering small areas and exhibiting blurred boundaries. These characteristics lead to limited data, annotation difficulties, and significant recognition challenges, including high intra-class similarity and ambiguous semantic changes. To address these issues, we introduce a pre-trained DINOv3 model and propose a multi-scale cross-attention difference siamese network (MC-DiSNet). The powerful visual representation capability of the DINOv3 backbone enables robust and rich feature extraction from bi-temporal remote sensing images. We also release a new Gaza-change dataset containing high-resolution satellite image pairs from 2023-2024 with pixel-level semantic change annotations. It is worth emphasizing that our annotations only include semantic pixels of changed areas. Unlike conventional semantic change detection (SCD), our approach eliminates the need for large-scale semantic annotations of bi-temporal images, instead focusing directly on the changed regions. We term this new task change semantic detection (CSD). The CSD task represents a direct extension of binary change detection (BCD). Due to the limited spatial extent of semantic regions, it presents greater challenges than traditional SCD tasks. We evaluated our method under the CSD framework on both the Gaza-Change and SECOND datasets. Experimental results demonstrate that our proposed approach effectively addresses the CSD task, and its outstanding performance paves the way for practical applications in rapid damage assessment across conflict zones.


翻译:准确快速地评估冲突造成的损毁对于人道主义援助和区域稳定至关重要。在冲突区域,损毁区域通常具有相似的建筑风格,损毁面积较小且边界模糊。这些特征导致数据有限、标注困难以及显著的识别挑战,包括类内高度相似性和语义变化模糊。为解决这些问题,我们引入了预训练的DINOv3模型,并提出了一种多尺度交叉注意力差异孪生网络(MC-DiSNet)。DINOv3骨干网络强大的视觉表示能力能够从双时相遥感图像中提取鲁棒且丰富的特征。我们还发布了一个新的加沙变化数据集,包含2023-2024年的高分辨率卫星图像对,并带有像素级语义变化标注。需要强调的是,我们的标注仅包含变化区域的语义像素。与传统的语义变化检测(SCD)不同,我们的方法无需对双时相图像进行大规模语义标注,而是直接聚焦于变化区域。我们将这一新任务定义为变化语义检测(CSD)。CSD任务是二元变化检测(BCD)的直接扩展。由于语义区域的空间范围有限,它比传统SCD任务更具挑战性。我们在CSD框架下,于加沙变化数据集和SECOND数据集上评估了我们的方法。实验结果表明,我们提出的方法有效解决了CSD任务,其出色性能为在冲突区域快速损毁评估的实际应用铺平了道路。

0
下载
关闭预览

相关内容

【CVPR2024】VidLA: 大规模视频-语言对齐
专知会员服务
20+阅读 · 2024年3月31日
ChatAug: 利用ChatGPT进行文本数据增强
专知会员服务
81+阅读 · 2023年3月4日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员