图像到图像转换(I2I)的目的是在保留内容表示的同时将图像从源域传输到目标域。I2I由于在图像合成、分割、风格转换、复原、姿态估计等计算机视觉和图像处理问题上的广泛应用,近年来受到越来越多的关注,并取得了巨大的进展。在本文中,我们对近年来发展起来的I2I工作进行了综述。我们将分析现有I2I工作的关键技术,并阐明社区取得的主要进展。此外,我们将阐述I2I对研究和行业社区的影响,并指出在相关领域仍存在的挑战。
https://www.zhuanzhi.ai/paper/5fe5204f7d9eeb37dc385304f9cb9f62
想象一下,如果你拍了一张自拍照,想让它更有艺术感,就像漫画家画的一样,你怎么能通过电脑自动实现呢?这类研究工作可以概括为图像到图像转换(I2I)问题。通常,I2I的目标是将输入图像x从源域A转换为目标域B,保留内在源内容并转移外部目标样式。例如,可以将自拍图像作为源域,以一些漫画作为目标域参考,将其“翻译”为想要的艺术风格图像。
从上面I2I的基本定义可以看出,将一幅图像从一个源域转换到另一个目标域可以涵盖图像处理、计算机图形学、计算机视觉等方面的许多问题。具体来说,I2I已经广泛应用于语义图像合成[3],[4],[5],[6],图像分割[7],[8],[9],风格转移[2],[10],[11],[12],[13],图像修复[14],[15],[16],[17],[18],3 d姿势估计[19],[20],图像/视频彩色化[21], [22]、[23]、[24]、[25]、[26],图像超分辨率[27]、[28],域适配[29]、[30]、[31],卡通生成[22]0、[22]、[22]、[22]、[22]4、[22]5,图像注册[22]。我们将在第五节详细分析和讨论这些相关的应用。
本文就图像到图像翻译的研究进展作一综述。据我们所知,这是第一个概述了I2I的分析、方法和相关应用的论文。具体来说,我们的论文组织如下:
首先,我们简要介绍了用于图像-图像翻译的两种最具代表性和最常用的生成模型,以及一些著名的评价指标,然后分析了这些生成模型如何学习表示和获得想要的翻译结果。
其次,我们将I2I问题划分为两大类任务,即双域I2I任务和多域I2I任务,每一组I2I任务都出现了大量的I2I工作,对其他研究领域产生了深远的影响,如图2所示。
最后但并非最不重要的是,我们按照相同的I2I方法分类,提供了一个完整的I2I应用程序分类,如表1所示。