ICML 2018 | 英伟达提出仅使用噪点图像训练的图像增强方法，可去除照片噪点

2018 年 7 月 11 日 机器之心

选自Nvidia

机器之心编译

参与：机器之心编辑部

如果有一天，在低亮度环境中拍摄的照片中的噪声可以被自动清除，并且自动修复失真，那将会如何？你的照片库里是否有很多带噪点的粗糙照片，很想修复它们？今天要介绍的这个基于深度学习的方法，仅通过观察原始的低质量图像就可以修复照片。这项研究由来自英伟达、阿尔托大学和 MIT 的研究者开展，将在本周的瑞典斯德哥尔摩 ICML 2018 上展示。

近期在深度学习领域的研究聚焦于通过展示带噪点和清晰的图像示例对来训练神经网络修复图像。然后 AI 系统学习如何弥补差异。新方法的不同之处在于，它仅需要两张都带噪点的输入图像来训练。

在没有展示无噪点图像的情况下，这个 AI 系统也可以移除照片上的失真、噪点、颗粒，并自动增强照片。

研究人员在其论文中表示：「在没有观察到清晰信号的情况下，学习恢复信号并非不可能，并且有时还会超过使用清晰样本训练的性能。[神经网络] 与利用清晰样本的最先进方法相当——使用完全相同的训练方法，并且在训练时间或表现上通常没有明显的缺点。」

该团队使用 NVIDIA Tesla P100 GPU 和 cuDNN 加速的 TensorFlow 深度学习框架在 ImageNet 验证集上对其系统进行了 50000 张图像的训练。

为了测试系统，他们在三个不同的数据集上验证了神经网络。

该方法甚至可以应用在核磁共振图像（MRI）的增强上，可能为医学成像的大幅改进开辟一条康庄大道。

「在现实世界中想要获得清晰的训练数据是很困难的：微光摄影（如天文图像）、基于物理的渲染图像、核磁共振图像」，研究团队说「我们的概念验证式的演示通过消除对于收集清晰数据的需求，来为这些应用找到潜在的益处。当然，天下没有免费的午餐——我们无法学习获取输入数据中不存在的特性——但这同样适用于清晰目标的训练。」

该研究团队将会在 ICML 会议上通过口头演讲和海报的形式展示他们的工作内容。你可以在 7 月 12 日星期四的监督学习口头会议 (2:20 pm) 和 6:15 pm 海报展上与该团队见面。

论文：Noise2Noise: Learning Image Restoration without Clean Data

论文地址：https://arxiv.org/pdf/1803.04189.pdf

我们将基本统计推理应用于机器学习的信号重构——学习将损坏的观察结果映射到干净的信号上——由此得到一个简单而有力的结论：在某些常见的情况下，可以在不观察清晰信号的前提下学会恢复信号，达到接近或等于使用清晰样本进行训练的性能。我们展示了该技术在图像噪声去除、合成蒙特卡罗图像降噪以及从欠采样输入重建核磁共振扫描中的应用，所有这些都是基于仅观察损坏的数据。