100页PPT！道尽Pansharpening 的数学建模机理

本文内容极其丰富，请做好准备……

图片来源网络

多源空谱遥感探测是当今国际遥感技术发展的前沿，属于我国《国家中长期科学和技术发展规划纲要（2006-2020年）》的重点领域和优先主题。以多光谱和高光谱图像为代表的高分辨遥感探测和数据智能分析对于国家社会和经济发展至关重要。

“天宫2号”卫星

例如，2016年发射的“天宫2号”卫星、2018年发射的“高分5号”卫星都搭载了先进的高光谱成像仪，表明我国在高光谱探测硬件研发方面取得重大突破，并已经形成以全色、多光谱、高光谱传感器相机为基础的“空-天-地”一体化遥感探测体系，并已经在环境监测、国土资源利用、精准农业、城市规划、军事侦察等关键领域得到重要应用。

背景与现状

目前成像探测的发展趋势是不断朝高光谱分辨率、高空间分辨率和高时间分辨率等发展。遥感数据获取已经进入多平台、多传感器、多时相、多角度观测发展阶段，遥感数据获取能力进一步提升。

遥感应用的日新月异已经彰显遥感社会迈入一个大数据的时代。然而受限于传感器本身的光学系统特性和复杂的成像条件，遥感图像的采集在时-空-谱三个维度的分辨率不可能同时达到最高。因此迫切需要建立多源图像互补信息融合体系，并研发高性能的融合方法和信息处理软件。

图片来源网络

多源空谱遥感图像融合属于遥感数据融合领域的一支，包括像素级、特征级和决策级三个层次。多源空谱遥感图像融合是针对同一场景并具有互补信息的多幅遥感图像，充分挖掘内在的互补的相关空间几何结构、纹理、光谱和其他遥感特征信息等，通过对它们的处理、分析和利用，实现互补信息的综合集成。

在像素级层次，图像融合可以缓解空间分辨率、时间分辨率、光谱分辨率之间的固有矛盾，获得更优的时-空-谱分辨率，获取更高质量数据；在特征和决策层面融合，可以获得更精细特征、更完备高层识别信息和知识。

研究问题与挑战性

本PPT集中论述像素级空谱遥感图像融合，主要探讨多光谱与全色图像融合——Pansharpening 问题（简称MS+PAN融合）。

图1 全色锐化多光谱图像(Pansharpening)的融合示意图

（这里仅R、G、B、N四个波段为例）

但从方法论上，也可以以推广到高光谱图像与全色图像融合Hypersharpening问题（简称HS+PAN融合）以及高光谱与多光谱图像融合（简称HS+MS融合）问题。

图2 全色锐化高光谱图像的融合（Hypersharpening）示意图

图3 多光谱与高光谱的融合问题

虽然多源空谱遥感融合方法已经取得很大进展，但是依然存在很多挑战：

• 空谱遥感图像融合在数学上可以看作是不完全互补观测多通道数据的融合计算重建反问题。由于融合过程补充信息不足和数学问题的欠定性，如何克服模糊降质、坏像素、条带噪声等病态性，是一个挑战；

• 空谱遥感图像融合的关键是需要增强和保持光谱高分辨率，然而将多光谱或高光谱图像的高分辨率空间几何细节注入的同时，容易引起光谱失真。如何最大可能融合图像的空间几何特征并保持精细的光谱信息，达到优化平衡是一个挑战。

• 与传统彩色图像相比，多光谱和高光谱图像具有高维光谱通道、数据量大等特点，迫切需要针对光谱图像海量数据的特点，发展高效快速融合处理方法。

为应对上述挑战，人们发展了系列融合方法，其建模的核心是图像简洁和高效的表示建模以及互补测量信息的有效融合。多源遥感融合的的研究涉及多学科的交叉，并取得了许多研究成果，系列新型融合模型和算法层出不穷。但是这些成果的学术思想脉络和背后的机理很少有从数学建模上进行阐述。

内容与前瞻思考

本报告介绍了空谱遥感成像传感器及其数据获取方法，论述了融合质量评估和空谱图像融合的代表性方法体系，包括：

• 空域细节注入

• 贝叶斯模型优化融合

• 低阶变分计算融合

• 高整数阶变分计算融合

• 分数阶变分计算融合

• 稀疏融合

• 深度学习融合

图4 基本内容

其中着重探索了一类基于变分模型的融合方法，这些方法背后的建模动机是将空谱图像融合建模为两路不完整（或欠采样）互补测量数据重建潜在图像的过程。重点论述变分融合计算体系与方法。其脉络涵盖低阶到高阶正则化，由整数阶到分数阶正则化的方法。

图5 变分融合建模思想

我们充分注意到，正是由于空谱图像融合（或者超分辨增强）过程补充信息不足和数学问题的欠定性，在过去计算机视觉和图像处理的大量算法中折射出一个基本认知，即建立兼顾“简洁性”和“结构性”的高效图像表示和先验模型至关重要。

“如无必要，勿增实体” ，图像简洁而有效表示本质上折射一种“最短描述语言（MDL）”或者所谓的“奥卡姆剃刀”原理。从贝叶斯概率推理来看，由缺失和污染的观测数据空间到潜在数据空间，需要架起一座桥梁，而数据表示或先验建模是这座桥梁的基石。而从正则化观点来看，合理的先验模型（或正则化项）有助于缩小候选解的求解空间。

图片来源网络

图像的边缘、纹理和噪声等奇异性结构表征是非常复杂的，而空谱图像内在“空谱合一” 数据更为挑战。随着深度学习方法的兴起，研究者认为通过数据驱动的模式或许可以学习到物理和数学方法难以建模的复杂关系和模式，而深度学习确实在图像和语音识别等计算机视觉领域取得了巨大成功和广泛关注。

然而依赖大数据和强大算力，却也让研究者对于暴力式大数据深度学习和“黑盒性”深感忧虑。 为此，很多学者认为结合物理模型和数据混合驱动的建模方式或许是一个有前途的方向。即使如此，图像表示和建模仍然任重而道远，“可解释性”数学物理建模方式还是数据驱动方式是广大研究者的学术焦点。

本报告，最后给出了张量表示与深度先验混合驱动的融合模型的一些思考。

图6 复合先验正则化的变分融合建模推广

下面奉上满满干货的100页PPT……

关键参考文献

（向上滑动查看更多）

[1]Pengfei Liu, Liang Xiao, Tao Li:A Variational Pan-Sharpening Method Based on Spatial Fractional-Order Geometry and Spectral-Spatial Low-Rank Priors. IEEE Trans. Geoscience and Remote Sensing 56(3): 1788-1802 (2018)

[2]Qi Ge, Xiao-Yuan Jing, Fei Wu, Zhi-Hui Wei, Liang Xiao, etal: Structure-Based Low-Rank Model With Graph Nuclear Norm Regularization for Noise Removal. IEEE Trans. Image Processing 26(7): 3098-3112 (2017)

[3]Pengfei Liu, Liang Xiao, Songze Tang: A New Geometry Enforcing Variational Model for Pan-Sharpening. IEEE J Sel. Topics in Appl. Earth Observ. and Remote Sensing 9(12): 5726-5739 (2016)

[4]Pengfei Liu, Liang Xiao, Jun Zhang, Bushra Naz:
Spatial-Hessian-Feature-Guided Variational Model for Pan-Sharpening. IEEE Trans. Geoscience and Remote Sensing 54(4): 2235-2253(2016)

[5]Liqian Wang, Liang Xiao, Hongyi Liu, Zhihui Wei:Variational Bayesian Method for Retinex. IEEE Trans. Image Processing 23(8): 3381-3396 (2014)

[6]Jun Zhang, Zhihui Wei, Liang Xiao:Adaptive Fractional-order Multi-scale Method for Image Denoising. Journal of Mathematical Imaging and Vision 43(1): 39-49 (2012)

[7]Jingxiang Yang, Yong-Qiang Zhao, Jonathan Cheung-Wai Chan, Liang Xiao:
A Multi-Scale Wavelet 3D-CNN for Hyperspectral Image Super-Resolution. Remote Sensing11(13): 1557 (2019)

[8]Songze Tang, Nan Zhou, Liang Xiao:Pansharpening via Locality-Constrained Sparse Representation. BMVC 2017

[9]肖亮，刘鹏飞. 著. 空-谱遥感图像融合建模机理与变分方法，科学出版社，将出版。

推荐阅读

宫睿, 王小春. BEMD分解和W变换相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2019, 24(6): 987-999.

http://www.cjig.cn/html/jig/2019/6/20190614.htm

焦姣, 吴玲达. 形态学滤波和改进PCNN的NSST域多光谱与全色图像融合[J]. 中国图象图形学报, 2019, 24(3): 435-446.

http://www.cjig.cn/html/jig/2019/3/20190311.htm

殷明, 段普宏, 褚标, 梁翔宇. 非下采样四元数剪切波变换域的图像融合[J]. 中国图象图形学报, 2016, 21(10): 1289-1297.

http://www.cjig.cn/html/jig/2016/10/20161003.htm

王佺, 聂仁灿, 周冬明, 金鑫, 贺康建, 余介夫. 多目标粒子群优化PCNN参数的图像融合算法[J]. 中国图象图形学报, 2016, 21(10): 1298-1306.

http://www.cjig.cn/html/jig/2016/10/20161004.htm

张晓, 薛月菊, 涂淑琴, 胡月明, 宁晓锋. 基于结构组稀疏表示的遥感图像融合[J]. 中国图象图形学报, 2016, 21(8): 1106-1118.

http://www.cjig.cn/html/jig/2016/8/20160815.htm

发福利啦

欢迎通过邮件联系肖亮老师

或扫描下方二维码联系学报编辑

获取报告PPT

专家介绍

肖亮，南京理工大学计算机科学与工程学院教授，博士生导师，工学博士。教育部高维信息智能感知与系统重点实验室副主任，江苏省光谱信息感知与系统重点实验室副主任。

从事计算机视觉、机器学习和光谱遥感信息智能感知与系统研发，在视觉目标检测-跟踪分析、高光谱遥感图像处理与智能分析、岩心矿物可视化填图等研发多个实用性系统。

E-mail:xiaoliang@njust.edu.cn

编辑推荐

本文系《中国图象图形学报》独家稿件，

欢迎读者转发朋友圈

文章部分配图来自网络，仅供学习交流，

版权属于原作者

编辑：秀秀

指导/审核：梧桐君

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

前沿丨观点丨资讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号

在看点这里