一键修复女神林青霞旧照，背后用到了哪些AI技术？

2019 年 4 月 29 日 AI前线

整理 & 编辑｜Debra

AI 前线导读：近日，第四届 NTIRE（New Trends in Image Restoration and Enhancement workshop and challenges）比赛结果公布，美图影像实验室 MTlab 在图像增强赛道（Image Enhancement Challenge）中斩获冠军，同时夺得图像去雾赛道（Image Dehazing Challenge）的季军，两个赛道均有超过 200 支团队报名。据悉，NTIRE 是目前规模最大、水平最高的图像恢复与增强的研讨会和比赛，吸引了众多国内外顶尖大学、研究机构和公司参加。

美图此次夺得冠、季军的图像增强和去雾技术很容易让人联想到最近大火的 AI 图像修复小程序“你我当年”。这个小程序使用的核心技术和美图获奖的技术是否有异曲同工之妙？AI 前线专门采访了美图技术人员，为大家解读这些神奇的图像修复技术背后的原理。

更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）

图像增强和去雾背后的技术

图像增强 是指让算法处理之后的图像拥有更好的视觉效果，例如让普通手机拍摄的照片拥有接近单反照片的质感。

（使用图像增强技术前后对比图）

本次图像增强赛道采用了 MOS（mean opinion score）这个反映人主观评价的指标作为增强效果的主要评价标准，美图的 MOS 的得分为 2.784，是唯一一个 MOS 分数高于 2.6 的队伍。MTlab 的研究人员通过对图像美感建模，使得算法增强后的图像在视觉上更符合人的感知，AI 前线向美图技术人员了解了图像增强背后的具体技术：

在图像增强赛道，我们算法基于深度卷积神经网络技术，其中，网络结构设计是非常关键的一个步骤。我们最后夺冠使用的网络结构借鉴了 HRNet 的思想，可以同时抽取出具有 high-resolution 和 high-level 特性的特征，实验结果证明这些特征非常适合图像增强这个任务。设计损失函数是提升增强算法效果的另一个关键的步骤，考虑到本次增强比赛采用 MOS 分数作为增强算法效果的衡量标准，我们在损失函数的设计上不仅使用了 L1，SSIM 和 TV 等传统损失函数，而且使用了 GAN 和 Perceptual-Loss 等和人的感知相关的损失函数。

（使用去雾技术前后对比图）

在图像去雾比赛中，参赛团队则需要从浓雾遮挡的画面中恢复出原有的图像内容，MTlab 在经典去雾模型的基础上，通过对抗生成网络（GAN）等方法有效还原图像的原始内容并获得季军，PSNR 分数为 19.46dB。美图技术人员解释了去雾技术背后的技术：

在图像去雾赛道，我们的网络模型设计更加侧重于对于图片全局信息的抽取，在网络中专门添加了用于抽取全局特征的模块。另外，由于去雾数据非常难以获得，本次比赛组织方提供的数据集比较小。为了扩充数据，我们训练了一个向图片中添加雾的网络，生成了更多的训练数据，从而极大的提升了去雾网络的最终效果。

美图影像实验室 MTlab 是美图公司的核心算法研发部门，专注于计算机视觉、深度学习、增强现实等领域，聚焦图像画质提升，包括图像增强、去噪去雾、超分辨率、HDR 等关键技术，在 MTlab 成立的 9 年间，美图自主研发的 AI 算法已落地到了众多产品功能中，如 BeautyCam 美颜相机超清人像、美图秀秀绘画机器人及动漫化身、美图手机超级夜景、美图魔镜虚拟试妆等，而此次比赛获冠、季军的图像增强和去雾技术等相关技术已经上线于美图开放平台（ai.meitu.com）。

和最近爆火的小程序“你我当年”AI 修复术有何异同？

美图的图像增强和去雾技术很容易让人联想到最近很火的“你我当年”小程序，据网友反映，这个小程序经过 AI 处理，可以把老旧照片的清晰度大大提高。

只不过，这个小程序也有缺点，就是处理时间较长，处理一张图片大约需要 7 个小时，但是手机能够正常使用。现在，这个小程序现在依然火爆，AI 前线试用了一下，发现已经有 2239 人在排队，需要等待 4 万多小时......