Recent image inpainting methods show promising results due to the power of deep learning, which can explore external information available from a large training dataset. However, many state-of-the-art inpainting networks are still limited in exploiting internal information available in the given input image at test time. To mitigate this problem, we present a novel and efficient self-supervised fine-tuning algorithm that can adapt the parameters of fully pre-trained inpainting networks without using ground-truth target images. We update the parameters of the pre-trained state-of-the-art inpainting networks by utilizing existing self-similar patches within the given input image without changing network architecture and improve the inpainting quality by a large margin. Qualitative and quantitative experimental results demonstrate the superiority of the proposed algorithm, and we achieve state-of-the-art inpainting results on publicly available numerous benchmark datasets.


翻译:由于深层学习的力量,最近的图像油漆方法显示出有希望的结果,因为深层学习可以探索从大型培训数据集获得的外部信息。然而,许多最先进的油漆网络在利用测试时特定输入图像中的现有内部信息方面仍然有限。为了缓解这一问题,我们提出了一个新颖而高效的自我监督的微调算法,可以在不使用地面实况目标图像的情况下调整经过充分预先训练的油漆网络的参数。我们通过在不改变网络结构的情况下利用特定输入图像中现有的自相类似的部分来更新培训前最新油漆网络的参数,同时不改变网络结构,提高大差值的油漆质量。定性和定量实验结果显示了拟议算法的优越性,我们在公开提供的众多基准数据集上实现了最先进的油漆结果。

0
下载
关闭预览

相关内容

图像修复(英语:Inpainting)指重建的图像和视频中丢失或损坏的部分的过程。例如在博物馆中,这项工作常由经验丰富的博物馆管理员或者艺术品修复师来进行。数码世界中,图像修复又称图像插值或视频插值,指利用复杂的算法来替换已丢失、损坏的图像数据,主要替换一些小区域和瑕疵。
【CVPR2021】用于目标检测的通用实例蒸馏
专知会员服务
23+阅读 · 2021年3月22日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
Python图像处理,366页pdf,Image Operators Image Processing in Python
已删除
架构文摘
3+阅读 · 2019年4月17日
Arxiv
0+阅读 · 2021年5月11日
Foreground-aware Image Inpainting
Arxiv
4+阅读 · 2019年1月17日
VIP会员
相关资讯
已删除
架构文摘
3+阅读 · 2019年4月17日
Top
微信扫码咨询专知VIP会员