高分辨率遥感影像， 如何做到地物对象精准分割?

（不同尺度分割结果与最终优化结果）

对于高分辨率遥感影像，单一尺度参数难以精准分割不同地物的区域和边界轮廓。因此，如何建立多尺度分割优化准则是一个非常重要的问题。

由南京理工大学肖亮团队与中国工程院院士潘德炉团队共同合作的论文《Optimizing multiscale segmentation with local spectral heterogeneity measure for high resolution remote sensing images》，提出了一种多尺度分割参数优化方法，其新颖性在于构造了一种"局部光谱异质性度量"。不同于传统的全局最优尺度参数，论文方法综合集成不同的尺度分割对象，并优化合并得到最佳的分割结果。

0 1

论文信息

论文标题：Optimizing multiscale segmentation with local spectral heterogeneity measure for high resolution remote sensing images

发表期刊 ：ISPRS Journal of Photogrammetry and Remote Sensing

引用格式：Yu Shen, Jianyu Chen, Liang Xiao, Delu Pan. Optimizing multiscalesegmentation with local spectral heterogeneity measure for high resolutionremote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing. 2019, 159, 13-25.

全文链接：

https://doi.org/10.1016/j.isprsjprs.2019.08.014

主题词：分割优化；高分辨遥感图像；尺度参数；局部光谱异质性度量；地理对象图像分析(GEOBIA)

0 2

研究背景

在针对高分辨率（HR）遥感图像的分析技术中，基于地理对象的图像分析（OBIA或GEOBIA）框架是处理复杂空间和层次关系的一种有效手段。 

图像分割是GEOBIA中的重要步骤，分割的好坏影响着后续的高层特征提取、地理要素建模和地物识别过程。  

然而，由于高分辨遥感影像的空间地物多样性，不同类型的地物所适应的最优分割尺度也不一样，而单一的尺度参数难以分割不同尺度的地物区域和边界轮廓。  

在目前的代表性方法多分辨（multi-resolution）分割与层次化分割等算法中，如何建立多尺度分割优化准则是一个非常重要的问题。  

在本论文提出的多尺度优化分割框架中，最重要的概念是论文提出的“局部光谱异质性度量”，其包含两个要素：

1） 对象内部的同质性指数 ；2） 对象之间的异质性指数

通过“局部光谱异质性度量”，可以分析当前分割对象是否与周边对象间存在局部同质或异质差异，进而决定同类对象间的有效合并。

0 3

研究方法

图1 论文提出的多尺度优化分割框架

该论文的原理非常简单，可以视作一种序贯分割结构上的对象自适应最佳尺度分割合并方法，包含如下步骤（整体框架见图1）：

• 首先利用分割算法计算出多个不同尺度下的分割对象（如图2所示）；这个步骤是相当灵活的，可以采取已有的多尺度分割方法，Meanshift，分水岭算法，MSEG方法等。

图2 分割算法生成多个尺度的分割结果

• 基于分割对象构造区域邻接图（RAG），进而可以建立相邻分割对象之间的空间关联关系。
  
  

• 利用相邻分割对象之间的关系，建立“局部光谱异质性度量”，计算每个分割对象内部与周围的光谱差异性；然后根据所形成的光谱异质性曲线找到最大值处所对应尺度，即为该地物最优分割尺度（过程如图3所示）。

图3 养殖池塘（l1）最优分割对象选取过程示意图

((f）为参考分割对象；不同尺度下的分割对象（Scale: (a) 50, (b) 100, (c) 200, (d) 350, (e) 400）所对应的局部光谱异质性值记录在曲线 (h) 中；选择曲线(h)的最大值对应尺度350，该尺度作为养殖池塘I1的最优分割尺度（(g)))

• 最后，在图像的各个位置挑选出对应的最优分割对象，将挑选出分割对象有效组合成最终的优化分割结果。

0 4

研究结果与展示

论文方法可以广泛应用于高分辨率多光谱遥感图像的分割。在高分辨影像 QuickBird-2 上进行了大量的实验，实验结果可以发现，与目前流行的全局最优尺度分割和多尺度分割方法相比，分割效果大幅度改进。

图4比较了不同优化算法下的分割结果。其中，(a) E-global ^[1] 和 (b) F-global ^[2]是选取单一最优尺度的全局优化方法，Johnson and Xie ^[3]方法在选取单一尺度后又进一步分割合并以优化最终结果。

图4 不同优化算法下的分割结果

((a）E-global ^[1]；(b) F-global ^[2]；(c) Johnson and Xie方法^[3] ；(d) 本文方法）

通过上述对比实验，可以发现，基于单一最优尺度的方法无法顾及不同地物类型对分割尺度的需求，容易在局部区域出现过分割或欠分割的现象（图4(a)-(c) 中左侧建筑区域出现过分割现象），而论文方法通过选取组合不同尺度的分割对象有效解决了这一问题。

封面和图5动图展示了不同尺度下的分割结果和最终的优化分割结果。可以发现，优化后的结果综合了不同分割尺度下的分割对象，例如，海水区域的大尺度分割对象，养殖池塘区域的中尺度分割对象，这些分割对象通过光谱异质性曲线挑选出来后，最后组合而成最终的分割结果。

图5  不同尺度分割结果与最终优化结果

0 5

研究结论与展望

由于HR图像空间地物的多样性，研究发现基于局部光谱异质性度量进行分割优化可显著改善对象分割的完整性、增强上下文关联语义驱动的实例分割效果。未来图像分割可以关注如下几个方面：

• “局部光谱异质性度量” 是针对空—谱遥感图像，利用光谱上下文地物鉴别语义信息；对于一般光学遥感图像和SAR图像而言，需要综合其他上下文特征信息，如形状、纹理等信息测度；

  
  

• 本文所用的多分辨分割算法中，大尺度的分割对象由小尺度的分割对象优化合并得到，因此研究基于对象的分割优化模型值得进一步深入探索。

  
  

• GEOBIA框架是一个有前途的分割技术，下一步可以考虑将图像的人工特征与深度学习特征高效结合，通过综合集成对象内部的同质性和对象之间的异质性测度，进而增强分割的性能。

0 6

关键参考文献

[1]Yang, Jian, Yuhong He, and Qihao Weng. "An automated method to parameterize segmentation scale by enhancing intrasegment homogeneity and intersegment heterogeneity." IEEE Geoscience and Remote Sensing Letters. 2015, 12(6), 1282-1286.

[2]Zhang, Xueliang, et al. "Segmentation quality evaluation using region-based precision and recall measures for remote sensing images." ISPRS Journal of Photogrammetry and Remote Sensing. 2015, 102, 73-84.

[3]Johnson, Brian, and Zhixiao Xie. "Unsupervised image segmentation evaluation and refinement using a multi-scale approach." ISPRS Journal of Photogrammetry and Remote Sensing. 2011, 66(4), 473-483.

0 7

作者简介

沈煜

南京理工大学与自然资源部第二海洋研究所联合培养博士研究生，计算机科学与技术专业，主要研究高分辨遥感影像分割。E-mail：shenyu@njust.edu.cn

肖亮

南京理工大学计算机科学与工程学院教授，博士生导师。主要研究方向为计算机视觉、模式识别、遥感图像智能分析等。E-mail：xiaoliang@njust.edu.cn

陈建裕 ，自然资源部第二海洋研究所研究员，博士生导师。主要研究方向为面向对象的遥感影像分割，海岸带环境遥感等。

潘德炉，中国工程院院士，自然资源部第二海洋研究所卫星海洋动力环境学国家重点实验室研究员，博士生导师。主要研究方向为遥感模式识别与应用。

编辑推荐

BIGSARDATA 2019|高端论道

 

学者观点 | 聚焦目标跟踪

 

专家报告 | 基于图像的三维重建

实用干货

2019年9-11月图像图形会议集锦

 

算法集锦|深度学习在遥感图像处理中的六大应用

 

资源分享| 不知道如何获取最新的算法资讯？快来这里看一看

本文系《中国图象图形学报》独家稿件

本文内容仅供学习交流

版权属于原作者

编辑：秀秀

指导/审核：梧桐君

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。 授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

前沿丨观点丨资讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号

在看点这里