图像到图像转换(I2I)的目的是在保留内容表示的同时将图像从源域传输到目标域。I2I由于在图像合成、分割、风格转换、复原、姿态估计等计算机视觉和图像处理问题上的广泛应用,近年来受到越来越多的关注,并取得了巨大的进展。在本文中,我们对近年来发展起来的I2I工作进行了综述。我们将分析现有I2I工作的关键技术,并阐明社区取得的主要进展。此外,我们将阐述I2I对研究和行业社区的影响,并指出在相关领域仍存在的挑战。

https://www.zhuanzhi.ai/paper/5fe5204f7d9eeb37dc385304f9cb9f62

想象一下,如果你拍了一张自拍照,想让它更有艺术感,就像漫画家画的一样,你怎么能通过电脑自动实现呢?这类研究工作可以概括为图像到图像转换(I2I)问题。通常,I2I的目标是将输入图像x从源域A转换为目标域B,保留内在源内容并转移外部目标样式。例如,可以将自拍图像作为源域,以一些漫画作为目标域参考,将其“翻译”为想要的艺术风格图像。

从上面I2I的基本定义可以看出,将一幅图像从一个源域转换到另一个目标域可以涵盖图像处理、计算机图形学、计算机视觉等方面的许多问题。具体来说,I2I已经广泛应用于语义图像合成[3],[4],[5],[6],图像分割[7],[8],[9],风格转移[2],[10],[11],[12],[13],图像修复[14],[15],[16],[17],[18],3 d姿势估计[19],[20],图像/视频彩色化[21], [22]、[23]、[24]、[25]、[26],图像超分辨率[27]、[28],域适配[29]、[30]、[31],卡通生成[22]0、[22]、[22]、[22]、[22]4、[22]5,图像注册[22]。我们将在第五节详细分析和讨论这些相关的应用。

本文就图像到图像翻译的研究进展作一综述。据我们所知,这是第一个概述了I2I的分析、方法和相关应用的论文。具体来说,我们的论文组织如下:

首先,我们简要介绍了用于图像-图像翻译的两种最具代表性和最常用的生成模型,以及一些著名的评价指标,然后分析了这些生成模型如何学习表示和获得想要的翻译结果。

其次,我们将I2I问题划分为两大类任务,即双域I2I任务和多域I2I任务,每一组I2I任务都出现了大量的I2I工作,对其他研究领域产生了深远的影响,如图2所示。

最后但并非最不重要的是,我们按照相同的I2I方法分类,提供了一个完整的I2I应用程序分类,如表1所示。

成为VIP会员查看完整内容
31

相关内容

基于小样本学习的图像分类技术综述(中文版),19页pdf
专知会员服务
83+阅读 · 2021年3月15日
自然语言处理现代方法,176页pdf
专知会员服务
263+阅读 · 2021年2月22日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
39+阅读 · 2021年1月19日
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
58+阅读 · 2020年10月27日
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
最新《自然场景中文本检测与识别》综述论文,26页pdf
专知会员服务
69+阅读 · 2020年6月10日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
89+阅读 · 2020年4月7日
最新《多任务学习》综述,39页pdf
专知
26+阅读 · 2020年7月10日
综述:基于GAN的图像翻译模型盘点
GAN生成式对抗网络
21+阅读 · 2019年9月2日
最全综述 | 图像分割算法
计算机视觉life
13+阅读 · 2019年6月20日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
CNN图像风格迁移的原理及TensorFlow实现
数据挖掘入门与实战
5+阅读 · 2018年4月18日
Arxiv
7+阅读 · 2018年11月27日
Image Captioning based on Deep Reinforcement Learning
Arxiv
8+阅读 · 2018年5月1日
VIP会员
相关VIP内容
基于小样本学习的图像分类技术综述(中文版),19页pdf
专知会员服务
83+阅读 · 2021年3月15日
自然语言处理现代方法,176页pdf
专知会员服务
263+阅读 · 2021年2月22日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
39+阅读 · 2021年1月19日
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
58+阅读 · 2020年10月27日
最新《图神经网络模型与应用》综述论文
专知会员服务
290+阅读 · 2020年8月2日
最新《自然场景中文本检测与识别》综述论文,26页pdf
专知会员服务
69+阅读 · 2020年6月10日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
89+阅读 · 2020年4月7日
相关资讯
最新《多任务学习》综述,39页pdf
专知
26+阅读 · 2020年7月10日
综述:基于GAN的图像翻译模型盘点
GAN生成式对抗网络
21+阅读 · 2019年9月2日
最全综述 | 图像分割算法
计算机视觉life
13+阅读 · 2019年6月20日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
自然语言处理中注意力机制综述
AINLP
27+阅读 · 2019年1月21日
CNN图像风格迁移的原理及TensorFlow实现
数据挖掘入门与实战
5+阅读 · 2018年4月18日
微信扫码咨询专知VIP会员