基于深度学习的图像融合方法综述

图像融合技术旨在将不同源图像中的互补信息整合到单幅融合图像中以全面表征成像场景，并促进后续的视觉任务。随着深度学习的兴起，基于深度学习的图像融合算法如雨后春笋般涌现，特别是自编码器、生成对抗网络以及Transformer等技术的出现使图像融合性能产生了质的飞跃。本文对不同融合任务场景下的前沿深度融合算法进行全面论述和分析。首先，介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合、数字摄影图像融合以及遥感影像融合等不同的融合场景，从网络架构和监督范式等角度全面阐述各类方法的基本思想，并讨论各类方法的特点。其次，总结各类算法的局限性，并给出进一步的改进方向。再次，简要介绍不同融合场景中常用的数据集，并给出各种评估指标的具体定义。对于每一种融合任务，从定性评估、定量评估和运行效率等多角度全面比较其中代表性算法的性能。本文提及的算法、数据集和评估指标已汇总至https://github.com/Linfeng-Tang/Image-Fusion。最后，给出了本文结论以及图像融合研究中存在的一些严峻挑战，并对未来可能的研究方向进行了展望。

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20230102&flag=1