女神照片模糊看不清？CMU用「PixelNN」完美还原马赛克照片（paper）

来自卡内基梅隆大学的Aayush Bansal 、Yaser Sheikh、Deva Ramanan，联合研究了一种基于示例图像合成清晰照片的技术—PixelNN，把模糊的低分辨率或者是有马赛克的图片，使用表面法线贴图和草图等，合成出高分辨率的逼真图像。

其中，YASER AJMAL SHEIKH教授曾带领团队研发出大规模社交互动采集的多视角系统。

详情：CMU机器人学院研发出，可实时读取肢体语言的计算机系统（Paper+GitHub+数据集）

CMU的研究人员提出一种简单的近邻分类取样（NN）算法，从“不完全”信号（如低分辨率图像，表面法线图或边缘）合成高清晰度的写实图像。

目前用于这种条件图像合成的、最先进的深度生成模型缺乏两方面：

• 首先，由于mode collapse问题，它们无法生成大量不同的输出

• 其次，它们不可解释，难以控制合成输出

我们证明NN方法可能解决这样的限制，但在小数据集上的准确性受到影响。我们设计了一个结合了两种方式的最佳方式：

第一阶段使用卷积神经网络（CNN）将输入映射到（overly-smoothed）图像，并且在第二阶段使用 pixel-wise近邻算法，以可控的方式，将平滑的输出映射到多个高质量的高频输出。

我们展示了我们对各种投喂模型的方法，从人脸到猫和狗到鞋子和手袋的各个领域。

△利用GANs测试六种不同质量的图像输出

然后分为两个阶段来做训练。第一阶段直接从一个不完整的图像输入（损失函数采用L2 loss训练）。这个图像看起来，像是所有可能图像的“smoothed”平均值。

生成.在第二阶段，我们期待用同样的训练图像匹配similarly-smoothed。重要的是，我们匹配像素使用的多尺度描述符，能捕捉合适的卷积层（例如，眼睛像素往往只匹配眼睛）。

△最终输出的傅立叶变换与原始高分辨率图像非常接近

△猫狗、鞋包以及人的训练效果

paper：https://arxiv.org/pdf/1708.05349.pdf

★推荐阅读★

一张图尽览英伟达创始人黄仁勋GTC CHINA演讲

英特尔发布自学习神经元芯片，模拟了13万个神经元

谷歌官方更新TensorFlow1.3新功能：数据集和估算器

全球AI十大天使投资人，雅虎杨致远排名第二

娃哈哈投资1000万美元在以色列建立AI研究中心

430家以色列人工智能初创公司图谱及十大特征 

25行Python代码实现人脸识别 || 教程

AI可以将UI设计图自动生成跨平台代码（paper）

2017医疗大数据与人工智能报告

吴恩达新演讲：公司的壁垒非算法而是数据

谷歌大脑技术负责人主讲免费深度学习课程

长期招聘志愿者

加入「AI从业者社群」请备注个人信息

添加小鸡微信  liulailiuwang