图像修复研究进展综述

2021 年 3 月 9 日 专知


摘要: 图像修复是计算机视觉领域中极具挑战性的研究课题。近年来,深度学习技术的发展推动了图像修复性能的显著提升,使得图像修复这一传统课题再次引起了学者们的广泛关注。文章致力于综述图像修复研究的关键技术。由于深度学习技术在解决“大面积缺失图像修复”问题时具有重要作用并带来了深远影响,文中在简要介绍传统图像修复方法的基础上,重点介绍了基于深度学习的修复模型,主要包括模型分类、优缺点对比、适用范围和在常用数据集上的性能对比等,最后对图像修复潜在的研究方向和发展动态进行了分析和展望。


http://www.jsjkx.com/CN/10.11896/jsjkx.210100048


图像修复(ImageInpainting)是一种根据图像已知内容去 推测并修复出破损或缺失区域内容,使修复图像尽可能满足 人类视觉感知需求的技术手段.这项工作最早起源于中世 纪,修复师们凭借个人经验和丰富的想象手工复原破损的艺 术品图像.随着计算机技术和图像处理技术的不断发展,数 字图像修复已经成为计算机视觉(ComputerVision)和计算 机图形学 (ComputerGraphics)领 域 的 一 项 重 要 研 究 内 容. 该技术给人们带来了众多便利,被广泛应用于文化、生活、安 防等领域,如数字文化遗产保护、图像编辑(如目标移除)、影 视特效制作等,因此其一直是研究者们重点关注的问题之一.


传统的图像修复依据图像内容相似性和纹理一致性,采 用基于数学和物理理论的方法,通过建立几何模型或采用纹 理合成的方式来完成小区域破损图像修复.但由于计算机缺乏像人类一样的图像理解力和感知力,在大区域缺失的图像 修复中,其结果往往存在内容模糊、语义缺失等问题.


近年来,以深度学习技术为代表的机器学习技术取得了 质的飞跃,并在众多研究领域都取得了一系列卓越的成果. 其中,卷积神经网络(ConvolutionalNeuralNetworks,CNN) 作为一种前馈型的深度网络,在图像特征学习表达方面具有 强大的能力,在大规模图像处理方面也具有出色表现[1G4].另 一方面,由 Goodfellow 等[5]提出的生成对抗网络(Generative AdversarialNetworks,GANs),因具有巧妙的博弈对抗学习 机制和拟合数据分布的巨大潜力,在计算机视觉领域也得到 了广泛的应用.这些研究成果极大地弥补了图像视觉任务中 传统方法在图像语义理解方面的不足,一定程度上解决了图 像底层特征与高层语义之间的语义鸿沟,使得深度学习技术 逐渐占领计算机视觉领域的前沿[6].其中,基于深度学习的 图像修复也掀起了一股研究热潮,并取得了令人瞩目的成果. 


本文第2节简要介绍了传统图像修复方法,主要包括基 于扩散的方法和基于样本的方法;第3节简要介绍了基于深 度学习的图像修复方法中常用的深度学习的相关基础知识; 第4节对近5年来具有代表性的基于深度学习的图像修复方 法进行了分类和总结,包括基于自编码的图像修复方法、基于 生成模型的图像修复方法和基于网络结构的图像修复方法; 第5节介绍了深度图像修复方法中常用的图像数据集以及评 价指标;第6节对第4节罗列的图像修复方法在常用数据集 上的量化评测结果进行了对比分析;最后,对图像修复工作进 行了总结,并对未来研究方向和发展动态进行了分析和展望



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“图像修复” 就可以获取图像修复研究进展综述》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
18

相关内容

图像修复(英语:Inpainting)指重建的图像和视频中丢失或损坏的部分的过程。例如在博物馆中,这项工作常由经验丰富的博物馆管理员或者艺术品修复师来进行。数码世界中,图像修复又称图像插值或视频插值,指利用复杂的算法来替换已丢失、损坏的图像数据,主要替换一些小区域和瑕疵。
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
专知会员服务
94+阅读 · 2021年2月6日
注意力机制综述
专知会员服务
203+阅读 · 2021年1月26日
专知会员服务
50+阅读 · 2020年12月28日
专知会员服务
65+阅读 · 2020年12月24日
专知会员服务
28+阅读 · 2020年12月16日
专知会员服务
114+阅读 · 2020年8月22日
专知会员服务
37+阅读 · 2020年8月19日
鲁棒模式识别研究进展
专知会员服务
40+阅读 · 2020年8月9日
专知会员服务
107+阅读 · 2020年5月21日
领域知识图谱研究综述
专知
16+阅读 · 2020年8月2日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
深度学习的图像修复
AI研习社
21+阅读 · 2019年3月28日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
王飞跃教授:生成式对抗网络GAN的研究进展与展望
算法与数学之美
12+阅读 · 2019年2月16日
生成对抗网络的研究进展与趋势
中国计算机学会
35+阅读 · 2018年11月14日
生成对抗网络研究人脸识别领域获进展
中科院之声
8+阅读 · 2018年9月24日
AI综述专栏|多模态学习研究进展综述
人工智能前沿讲习班
64+阅读 · 2018年7月13日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
Arxiv
19+阅读 · 2021年1月14日
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
q-Space Novelty Detection with Variational Autoencoders
VIP会员
相关VIP内容
跨媒体分析与推理技术研究综述
专知会员服务
69+阅读 · 2021年3月11日
专知会员服务
94+阅读 · 2021年2月6日
注意力机制综述
专知会员服务
203+阅读 · 2021年1月26日
专知会员服务
50+阅读 · 2020年12月28日
专知会员服务
65+阅读 · 2020年12月24日
专知会员服务
28+阅读 · 2020年12月16日
专知会员服务
114+阅读 · 2020年8月22日
专知会员服务
37+阅读 · 2020年8月19日
鲁棒模式识别研究进展
专知会员服务
40+阅读 · 2020年8月9日
专知会员服务
107+阅读 · 2020年5月21日
相关资讯
领域知识图谱研究综述
专知
16+阅读 · 2020年8月2日
最全综述 | 图像分割算法
计算机视觉life
14+阅读 · 2019年6月20日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
深度学习的图像修复
AI研习社
21+阅读 · 2019年3月28日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
王飞跃教授:生成式对抗网络GAN的研究进展与展望
算法与数学之美
12+阅读 · 2019年2月16日
生成对抗网络的研究进展与趋势
中国计算机学会
35+阅读 · 2018年11月14日
生成对抗网络研究人脸识别领域获进展
中科院之声
8+阅读 · 2018年9月24日
AI综述专栏|多模态学习研究进展综述
人工智能前沿讲习班
64+阅读 · 2018年7月13日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
Top
微信扫码咨询专知VIP会员