算法集锦|深度学习在遥感图像处理中的六大应用
2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。
（图片来源网络）
深度学习摧枯拉朽般地实现了各种任务，使得似乎所有的机器辅助功能都变为可能。无人驾驶汽车，预防性医疗保健，甚至是更好的电影推荐，都近在眼前，或者即将实现。
（图片来源网络）
那么，深度学习算法在遥感图像处理领域是否也能发挥它的“神奇”功效，在哪些方面遥遥领先于传统方法呢？小编整理了《中国图象图形学报》2017—2019年的高关注论文，总结了深度学习在遥感图像处理中的六大应用：
遥感图像检索
遥感图像融合
遥感图像超分辨率重建
高光谱图像分类
高分辨率遥感图像分类
SAR图像目标识别
快来看看吧~
如何快速且高精度地对海量遥感图像数据进行高效检索？
传统的基于内容的图像检索(CBIR)系统主要通过提取低层次的图像特征(颜色、纹理、形状)进行检索，由于没有获取图像的高层语义特征，故存在着低层视觉特征与用户对图像理解的高层语义不一致，从而导致“语义鸿沟”问题的产生。
而在图像检索过程中，卷积神经网络(CNN)通过多层次的网络学习，针对提取到的丰富特征进行检索，使得检索精度大大提升。
示例论文
论文标题：结合深度学习与相关反馈的遥感图像检索
引用格式：彭晏飞, 宋晓男, 武宏, 訾玲玲. 结合深度学习与相关反馈的遥感图像检索[J]. 中国图象图形学报, 2019, 24(3): 420-434.
主题词：3D-CNN; 双卷积池化结构; 空谱联合特征; 高光谱影像分类; 正则化策略
不同方法对飞机的检索结果
示例论文
论文标题：面向遥感影像的深度语义哈希检索
引用格式：陈诚, 邹焕新, 邵宁远, 孙嘉赤, 秦先祥. 面向遥感影像的深度语义哈希检索[J]. 中国图象图形学报, 2019, 24(4): 655-663.
主题词：哈希; 影像检索; 深度学习; 语义挖掘; 遥感
不同方法在CIFAR-10和FLICKR-25K数据集上的mAP性能图（论文方法为DSH）
全色图像的空间细节信息增强和多光谱图像的光谱信息保持通常是相互矛盾的，如何在这对矛盾中实现最佳融合效果？
传统的多光谱与全色图像的融合方法主要包括亮度色调饱和度(IHS)法，主成分分析(PCA)法以及正交变换(GS)法等分量替代方法。这些方法能够有效提高融合图像的空间分辨率，但存在较为严重的频谱失真问题。
近年来，以小波变换为典型的多分辨率分析方法能够得到更好的多光谱图像融合效果，但存在不能有效地表示2维图像信号的缺陷。
深度学习被广泛应用于图像处理的今天，能否借助其思想，提升多光谱与全色图像的融合效果呢？
示例论文
论文标题：形态学滤波和改进PCNN的NSST域多光谱与全色图像融合
引用格式：焦姣, 吴玲达. 形态学滤波和改进PCNN的NSST域多光谱与全色图像融合[J]. 中国图象图形学报, 2019, 24(3): 435-446.
主题词：多光谱与全色图像融合；非下采样剪切波变换；形态学滤波；高通调制；脉冲耦合神经网络
论文方法对多光谱和全色图像融合效果
如何经济便捷地获取高分辨影像一直是遥感领域的一大挑战，超分辨率(SR)重建技术恰为此类问题的解决提供了思路。
当前主要的SR重建方法有3类：插值法、重构法和学习法。插值法是最早的SR重建方法，复杂度最低，实时性好，但结果中边缘效应明显，对细节恢复较差。
重构法是一类以时间宽度换取空间分辨率提升的方法，操作复杂，效率较低，通用性较差，目前针对遥感图像的SR重建大多仍停留在此类方法上。
学习法近年迅速发展，其克服了重构法分辨率提高倍数难确定的限制，且可面向单幅图像，是当前SR重建的主流发展方向。
学习法一般依靠构造高、低分辨率图像库，通过样本学习得到二者间内在对应关系，目前常见的基于学习的SR重建方法有邻域嵌入法、稀疏表示法和卷积神经网络(CNN)法。
示例论文
论文标题：结合深度学习的单幅遥感图像超分辨率重建
引用格式：李欣, 韦宏卫, 张洪群. 结合深度学习的单幅遥感图像超分辨率重建[J]. 中国图象图形学报, 2018, 23(2): 209-218.
主题词：遥感图像; 超分辨率; 深度学习; 卷积神经网络; 联合双边滤波
论文方法对Landsat 8影像重建结果
针对高光谱图像分类问题，既要考虑分类模型的有效性，也要充分利用丰富的空间和光谱信息。
高光谱遥感图像数据包含丰富的空间和光谱信息，但由于信号的高维特性、信息冗余、多种不确定性和地表覆盖的“同物异谱”及“同谱异物”现象，导致高光谱数据结构呈高度非线性。
与传统的人工设计特征相比，基于深度学习的图像分类能够自动提取从底层到高层语义的抽象特征，将图像转换成更容易识别的高级特征，经分类器实现图像像素到标签的映射。
3D-CNN（3D convolutional neural network）能够利用高光谱遥感影像数据立方体的特性，实现光谱和空间信息融合，提取影像分类中重要的有判别力的特征。
示例论文
论文标题：双卷积池化结构的3D-CNN高光谱遥感影像分类方法
引用格式：李冠东, 张春菊, 高飞, 张雪英. 双卷积池化结构的3D-CNN高光谱遥感影像分类方法[J]. 中国图象图形学报, 2019, 24(4): 639-654.
主题词：3D-CNN；双卷积池化结构；空谱联合特征；高光谱影像分类；正则化策略
不同方法在Indian Pines数据集上的分类结果
目前CNN模型在高分辨卫星图像分类领域已经有了许多应用，但是依然存在问题。
首先，CNN模型的训练需要大量有标签样本。由于高分辨卫星图像分类领域的训练样本缺乏，上述方法普遍使用交叉验证或者随机选取的方法在有限数据上进行模型的训练和测试，模型得不到充分的训练，并且结果的说服力不足。
其次，由于有标签样本数量的限制，既不能直接训练CNN模型，也无法充分微调深层CNN模型。再次，上述方法普遍使用了CNN模型堆叠或CNN特征和传统分类器的堆叠，增加了模型和计算的复杂度。
因此，使用卷积神经网络进行高分辨率遥感影像分类需首先考虑以上问题。
示例论文
论文标题：高分辨卫星图像卷积神经网络分类模型
引用格式：周明非, 汪西莉, 王磊, 陈粉. 高分辨卫星图像卷积神经网络分类模型[J]. 中国图象图形学报, 2017, 22(7): 996-1007.
主题词：卫星图像;分类;卷积神经网络;模型;特征
UC Merced Land Use数据集和Satellite-2000数据集的部分图像
使用Satellite-2000测试集时CNN模型结果曲线
SAR图像自动目标识别在国民经济和国防建设中有着广泛的应用，如海洋监测系统、舰船目标识别、矿藏探测等。
目前主要的SAR图像目标识别算法包括基于模板匹配的方法、基于支持向量机的方法、基于Boosting的方法、基于稀疏表示的方法等。
基于卷积神经网络的深度模型已经开始应用于SAR图像目标识别，通过学习得到的特征进行分类能够取得较高的识别精度，但是基于深度卷积神经网络的SAR目标识别方法需解决以下问题：
较少的训练样本
深度模型的优化设计
较长的训练时间
如何解决以上问题呢？
示例论文
引用格式：谷雨, 徐英. 面向SAR目标识别的深度卷积神经网络结构设计[J]. 中国图象图形学报, 2018, 23(6): 928-936.
主题词：SAR目标识别; 深度卷积神经网络; 结构设计; 随机权重; 超限学习机
卷积核宽度对SAR目标识别精度的影响
示例论文
论文标题：SAR变体目标识别的卷积神经网络法
引用格式：冯秋晨, 彭冬亮, 谷雨. SAR变体目标识别的卷积神经网络法[J]. 中国图象图形学报, 2019, 24(2): 258-268.
主题词：SAR目标识别; 变体目标; 深度学习; 多尺度特征; DenseNet
多尺度特征提取模块所得特征图
示例论文
论文标题：卷积神经网络和深度置信网络在SAR影像冰水分类的性能评估
引用格式：黄冬梅, 李明慧, 宋巍, 王建. 卷积神经网络和深度置信网络在SAR影像冰水分类的性能评估[J]. 中国图象图形学报, 2018, 23(11): 1720-1732.
主题词：海冰的冰水分类; SAR影像; 深度学习; 卷积神经网络; 深度置信网络; 海冰解译图
不同训练样本尺寸分类结果在SAR影像上的可视化
龚健雅院士在《人工智能时代测绘遥感技术的发展机遇与挑战》一文中写道：人工智能技术迅猛发展将对各行各业造成巨大影响。测绘遥感是一个与人工智能密切相关的领域，在人工智能领域迅速发展的大环境下，测绘遥感学科既有很好的发展机遇，也面临很大的学科危机。
如何借助人工智能技术，让遥感科学快速发展，增强遥感数据的处理与分析能力，让人类更加了解地球，正是我们今后努力的方向。
（图片来源网络）
编辑：秀秀
指导/审核：梧桐君
前沿丨观点丨资讯丨独家
扫描下方二维码 关注学报公众号
中国图象图形学报 | 订阅号
相关内容
微信扫码咨询专知VIP会员