基于GANs的图像编辑方法 | 学术青年分享会

2017 年 9 月 21 日 AI研习社 不灵叔

分享背景

▼

近些年来，生成对抗网络在许多图像生成和图像编辑任务上都获得了很大的成功，并受到越来越多的关注。对于图像编辑任务，现在面临的两个重要的挑战分别是：如何提升生成图像的质量和如何灵活控制生成图像内容。这次分享的两篇文章，分别对如何解决这两个问题做出了相应的探索。在第一篇文章中，在原有的生成对抗网络的框架下，作者提出了一种新的感知对抗机制，试图从更多角度测量并缩小生成图像和理想结果间的差距，从何获得更好的图像转换效果。在另一篇文章中(IJCAI)，作者通过学习输入图像中不同性质的可分解表征，大大提升了基于图像编辑的生成对抗网络的可解释性。通过利用图像标签控制其可分解表示征，该工作可以精确控制输出图像的相关性质。实验表明，上述两项工作均在现有算法的基础上进一步提升了生成效果和模型性能。

《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》

论文地址：https://www.ijcai.org/proceedings/2017/0404.pdf

在本文中提出了一种全新的神经网络框架，标签分解生成对抗网络(Tag Disentangled Generative Adversarial Networks, TDGAN)，用于进行目标图像的再次渲染(Re-rendering)。给定目标图像作为输入，该网络(TDGAN)即可根据指定要求修改图像内容，并生成符合描述的图像。例如，改变输入图像的观察角度，光照条件，人脸表情等等。和以往工作不同，通过利用图像与其标签的对应关系，即标签是图像分解表征(disentangled representations, DR)的具体描述，我们训练分解网络以提取输入图像的分解表征(DR)。同时，在生成对抗网络(GAN)的框架下，给定分解表征(DR)，生成网络被训练以生成相应的图像。最终，通过控制输入图像的分解表征(DR)，我们便可以完成不同的图像再渲染任务。经实验证明，TDGAN能够按照描述生成高质量的目标图像，进一步提升了图像再渲染任务的性能，在两个不同的数据集上，TDGAN的表现均超越了当前最优模型。

《Perceptual Adversarial Networks for Image-to-Image Transformation》

论文地址：https://arxiv.org/abs/1706.09138

在本文中提出了一种用于图像转换任务的原理感知对抗网络（Perceptual Adversarial Network，PAN）。与现有算法不同——现有算法都是针对具体应用的，PAN 提供了一个学习成对图像间映射关系的通用框架（图1），例如将下雨的图像映射到相应的去除雨水后的图像，将勾勒物体边缘的白描映射到相应物体的照片，以及将语义标签映射到场景图像。

本文提出的 PAN 由两个前馈卷积神经网络（CNN）、一个图像转换网络 T 和一个判别网络 D 组成。通过结合生成对抗损失和我们提出的感知对抗损失，我们训练这两个网络交替处理图像转换任务。其中，我们升级了判别网络 D 的隐藏层和输出结果，使其能够持续地自动发现转换后图像与相应的真实图像之间的差异。

同时，我们训练图像转换网络 T，将判别网络 D 发现的差异最小化。经过对抗训练，图像转换网络 T 将不断缩小转换后图像与真实图像之间的差距。我们评估了几项到图像转换任务（比如去除图像中的雨水痕迹、图像修复等）实验。结果表明，我们提出的 PAN 的性能比许多当前最先进的相关方法都要好。

分享主题

▼

Image editing with Generativeadversarial networks (GANs) based methods

基于生成对抗网络的图像编辑方法

分享人简介

▼

王超岳，悉尼科技大学 FEIT 三年级博士生，优必选悉尼AI研究院访问学生，导师陶大程教授。研究兴趣在于机器学习，计算机视觉，和深度学习。在此之前，于2014年在天津大学获得学士学位。

分享时间

▼

北京时间9月22日晚8点

一个惊喜

▼

我们将在参与本次学术青年分享会并提问的小伙伴中选取出一位赠送由优必选提供赞助Jimu机器人探索者，欢迎大家在直播过程中在直播间踊跃提问。

Jimu机器人是一款集创意搭建、逻辑编程为一体的益智教育编程机器人。致力于通过阶梯性的科技编程教育提升青少年的逻辑能力、想象力及创造力。除官方呈现的机器人模型外，使用者还可以自己设计机器人造型，编辑动作，创造独一无二的机器人。用户通过使用Jimu APP中提供的3D动态教程来学习搭建及编程。Jimu机器人有多个系列可选，每套机器人中包含专利伺服舵机及固定配件以外，用户还可以依据个人的爱好和创意搭配有趣的配件包。

Jimu机器人探索者系列由1个控制器、6个舵机、344个零部件（包含装饰件及连接件等）自由创意拼搭而成，拥有4个官方模型宝宝、海狮、恐龙、鹦鹉，是一款中阶版的Jimu机器人。

参与方式

▼

扫描海报二维码备注「王超岳」参与学术青年分享会

再次鸣谢

▼