图像修复研究进展综述

2021 年 3 月 9 日 专知

摘要：图像修复是计算机视觉领域中极具挑战性的研究课题。近年来,深度学习技术的发展推动了图像修复性能的显著提升,使得图像修复这一传统课题再次引起了学者们的广泛关注。文章致力于综述图像修复研究的关键技术。由于深度学习技术在解决“大面积缺失图像修复”问题时具有重要作用并带来了深远影响,文中在简要介绍传统图像修复方法的基础上,重点介绍了基于深度学习的修复模型,主要包括模型分类、优缺点对比、适用范围和在常用数据集上的性能对比等,最后对图像修复潜在的研究方向和发展动态进行了分析和展望。

http://www.jsjkx.com/CN/10.11896/jsjkx.210100048

图像修复(ImageInpainting)是一种根据图像已知内容去推测并修复出破损或缺失区域内容,使修复图像尽可能满足人类视觉感知需求的技术手段.这项工作最早起源于中世纪,修复师们凭借个人经验和丰富的想象手工复原破损的艺术品图像.随着计算机技术和图像处理技术的不断发展,数字图像修复已经成为计算机视觉(ComputerVision)和计算机图形学 (ComputerGraphics)领域的一项重要研究内容. 该技术给人们带来了众多便利,被广泛应用于文化、生活、安防等领域,如数字文化遗产保护、图像编辑(如目标移除)、影视特效制作等,因此其一直是研究者们重点关注的问题之一.

传统的图像修复依据图像内容相似性和纹理一致性,采用基于数学和物理理论的方法,通过建立几何模型或采用纹理合成的方式来完成小区域破损图像修复.但由于计算机缺乏像人类一样的图像理解力和感知力,在大区域缺失的图像修复中,其结果往往存在内容模糊、语义缺失等问题.

近年来,以深度学习技术为代表的机器学习技术取得了质的飞跃,并在众多研究领域都取得了一系列卓越的成果. 其中,卷积神经网络(ConvolutionalNeuralNetworks,CNN) 作为一种前馈型的深度网络,在图像特征学习表达方面具有强大的能力,在大规模图像处理方面也具有出色表现[１Ｇ４].另一方面,由 Goodfellow 等[５]提出的生成对抗网络(Generative AdversarialNetworks,GANs),因具有巧妙的博弈对抗学习机制和拟合数据分布的巨大潜力,在计算机视觉领域也得到了广泛的应用.这些研究成果极大地弥补了图像视觉任务中传统方法在图像语义理解方面的不足,一定程度上解决了图像底层特征与高层语义之间的语义鸿沟,使得深度学习技术逐渐占领计算机视觉领域的前沿[６].其中,基于深度学习的图像修复也掀起了一股研究热潮,并取得了令人瞩目的成果.

本文第２节简要介绍了传统图像修复方法,主要包括基于扩散的方法和基于样本的方法;第３节简要介绍了基于深度学习的图像修复方法中常用的深度学习的相关基础知识; 第４节对近５年来具有代表性的基于深度学习的图像修复方法进行了分类和总结,包括基于自编码的图像修复方法、基于生成模型的图像修复方法和基于网络结构的图像修复方法; 第５节介绍了深度图像修复方法中常用的图像数据集以及评价指标;第６节对第４节罗列的图像修复方法在常用数据集上的量化评测结果进行了对比分析;最后,对图像修复工作进行了总结,并对未来研究方向和发展动态进行了分析和展望