【ICIP 2019 Tutorials】图像到图像的转换（Image-to-Image Translation）,英伟达研究员Ming-Yu Liu

主题： Image-to-Image Translation

简介：

图像到图像的转换是指在输入图像的基础上生成新的图像。图像处理中的许多任务都可以表示为图像到图像的转换问题，包括图像超分辨率、图像补全和样式转换。在这门简短的课程中，我们将涵盖图像到图像转换的基础知识和应用。

我们将首先回顾Goodfellow等人提出的生成对抗网络(GAN)框架，这是一种流行的生成式模型，是各种最先进的图像到图像的转换方法的骨干模型，因为它具有生成脆锐图像的非凡能力。GANs有各种各样的变体。我们将介绍几个流行的，还将讨论它们的条件扩展。

接下来，我们将给出图像到图像转换问题的正式定义。我们将根据现有作品的学习设置对其进行统一的标注和分类，包括监督设置(观察输入-输出关系)、非监督设置(不观察输入-输出关系)、半监督设置、多模态设置和少镜头设置。我们将讨论每个场景中代表作品的细节，介绍他们的网络设计、目标功能、培训策略和局限性。将讨论在各种图像处理任务中的应用。

然后将讨论视频到视频的转换问题，这是图像到图像转换问题的自然延伸。将生成令人信服的视觉动力学的技术，以及确保时间一致性的技术。然后展示一个现有的3D渲染引擎和一个视频到视频转换模型的集成，以创建一种新的计算机图形形式，并且讨论将它作为图形渲染引擎的优缺点。

最后，我们将通过讨论图像到图像转换工作所需的条件来结束本课程，讨论满足这些条件的实用方法，包括如何收集培训数据和故障排除技巧。并且将叙述未来的挑战和潜在的研究问题。

邀请嘉宾：

Ming-Yu Liu是英伟达著名的研究科学家。在2016年加入NVIDIA之前，他是三菱电机研究实验室(MERL)的首席研究科学家。2012年，他获得了马里兰大学帕克学院电子与计算机工程系的博士学位。2014年，他的机器人拣料系统获得了《R&D》杂志颁发的R&D 100奖。他的语义图像合成论文和场景理解论文分别在2019年CVPR和2015年RSS会议上入围最佳论文决赛。在2019年的SIGGRAPH上，他的图像合成作品获得了实时直播秀的最佳表演奖和观众选择奖。他的研究重点是生成图像建模。他的目标是使机器具有类人的想象力。