女神被打码了？一笔一划脑补回来，效果超越Adobe | 已开源

栗子 晓查 发自 凹非寺 
量子位 出品 | 公众号 QbitAI

女神的照片花得像个二维码，心不心痛，着不着急？

你需要一位PS高手。

或者，一只AI。

上面这个毫不违和的修复成果，就出自一个今年新诞生的图像修补算法之手。

和完好的原图比一比，还原度99+%，一眼望去，都是安吉丽娜·朱莉。

和从前的图像修复AI不同，它在补图的时候没指望一步登天：

△ 蓝色轮廓是猜的

而是先勾出残存部分的轮廓，再猜出整张图的轮廓，最后把颜色填进去。

这个算法来自加拿大的安大略理工大学，叫做EdgeConnect，修复效果甚至超越了Adobe登上CVPR 2018的算法。

另外，名义上是修复图像，事实上可以有很多有趣的用法。先举一个栗子为敬：

你不想看到哪个人，用橡皮擦一擦，他就融化在背景里。

不过，最重要的是，它已经开源了。

描边大法的胜利

先集中观察一下修补效果。

首先，是人类与人类最好的朋友：

人类的朋友变成了大小眼，除此之外一切近乎完美，顺便让金发妹子的苹果肌立体了一些。

然后，是人文景观与大自然：

一切恢复了安静祥和，与橡皮擦侵袭之前的景象，并没有太大的不同。

只是最后这一张，牛顿的棺材板悬空的柱子，不知道能支撑多久。但对一只没有学过经典力学的AI来说，也是合理的修复方案了。

跟原图比过之后，再和其他图片修复选手比一场。其中一道题是：

选手们的表现是这样的：

其中，c是Adobe团队入选CVPR 2018的方法，e和f是本文的描边大法。

有趣的用法

有了这样优质的方法，当然要拓展一下用途才好。

就像开头提到的，把抢镜的人类踢出去，是其中一种思路。

想把眼镜摘掉的话，也是同样的道理：

要让两座山看起来更般配，还是这个思路：

停，换一个思路。

把两张图拼起来怎么样？

比如有两只木屋，一个像夏天，一个像冬天。

把夏天的左边和冬天的右边拼到一起，夏天的画风，便可以温暖冬天的冷。

两个肤色不同、脸型不同的妹子，也可以合体：

AI小画家：先构图后上色

如果说以前那些修补图像的GAN只是用训练数据填充，那EdgeConnect就是在模仿画家的思路。

画家作画时，总是先把不同物体、不同颜色的部分用线条分割开来。先用线条构图，然后再填充颜色。

以前面的花瓣为例，以前的算法在恢复图片时边缘出现了扭曲，因为它们只是对图像进行平滑过渡或者模糊处理，所以在色差变化明显的边缘不能很好地与背景区分。

但是，一张图中不止有颜色变化平滑的部分，也包含不同颜色区域的边缘。以往的GAN难以准确地重建这些物体边缘。

而EdgeConnect是先把图片已知部分转换成一幅“白描画”，用神经网络补全残缺的笔画，然后在此基础上填充颜色。

EdgeConnect将图像修复模型分为两大部分：边缘生成器（edge generator）和图像补全网络（image completion network）。

边缘生成器的作用，就是脑补缺失区域里物体的描边，生成幻觉边缘（hallucinated edges）。

要脑补空白部分的描边，直接输入残缺的彩色照片是不行的。需要先用边缘探测器 (Edge Detector) 把照片变成不完整的白描稿，再让生成器把这它补全。

探测器观察的是已知区域。它对色彩区分越仔细，给已知区域描出的边缘线，就越密集。

△ 黑线是描的，蓝线是脑补的 (不适用于下图)

已知区域的线条密了，边缘生成器为空白部分脑补的边缘线，也就密了。

△ σ越小，探测越灵敏，脑补线条越密集

而线条过于稀疏的话，图像修复的质量就不会太好 (比如，只描出了右眼的轮廓↑↑↑) 。

那么，如果一条边缘线也没有呢：

AI几乎是完全依赖从前见过的人脸特征，想象出一张脸来。额头显得有些空旷了。

完成白描图以后，我们就能给图片上色，这一步类似于之前Philip Isola等人提出了的条件GAN框架pix2pix。

如果你还有印象，应该记得它能把抽象的简笔画变成一只可爱的猫咪。

而图像补全网络与pix2pix不同之处在于，除了补全的边缘信息外，它还有一个残缺的彩色图像作为输入。

图像补全网络能根据已有的色彩信息，预测出缺失区域的颜色，并且要保证颜色变化不至于太突兀。

除了以上两个部分外，EdgeConnect还包含一个端到端的可训练网络，作用是结合前面的边缘生成和图像补全，进一步填补缺失区域的细节。

传送门

开源PyTorch实现：
https://github.com/knazeri/edge-connect

论文地址：
https://arxiv.org/abs/1901.00212

另外，图像修补这件事儿，PS大厂Adobe、显卡大厂英伟达都很喜欢，量子位之前介绍过他们的成果：

P图，还是阿逗比厉害（DeepFill v1和v2）

论PS的功力，英伟达的AI这次谁也不服

— 完 —

加入社群

量子位AI社群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !