深度图像先验：无需学习即可生成新图像

来源：skoltech

编译：Bing

由于深度卷积网络（deep convolutional networks）能够从大量样本中学习现实图像先验，它已是图像生成和还原的常用工具。在这篇文章中，作者认为，生成网络的结构足以在任何学习之前捕获大量低层次的图像数据。为了实现这一点，他们证明了一个随机初始化的神经网络可以作为一个先验，在标准的逆问题上，比如去噪、超分辨率和修补方面都有出色的表现。作者让一个深度卷积网络去学习复制被破坏的图像，发现这个网络会自动先学会如何重建图像。

使用了深度图像先验的超分辨率图像。本文作者使用一个随机初始化的卷积神经网络对图像进行上采样，与双三次上采样类似，这种方法无需提前学习就能生成边界清晰的图像

主要思路如下：

给定一张被毁坏的图像X0，目标是将其恢复成原来的图像X。这类优化问题通常表示成：

E(x;x0)是一个数据库，R(x)是一个图像先验。数据库E(x;x0)通常易于针对各种问题进行设计，如超分辨率、去噪、修补，而图像先验R(x)就比较困难。目前的趋势是，通过使用大量的例子对卷积神经网络进行训练捕捉先验知识。我们首先注意到，对于满射函数g : θ→x，以下过程可以表示成：

在实践中，g通过优化方法改变图像空间的搜索方式。然后，通过选择一个“好”的映射g就可以摆脱先验。我们将g(θ)定义为fθ(z)，f是一个深度卷积神经网络，θ是超参数，z是固定输入，则有以下公式：

这里，神经网络f的初始化是随机的，z是固定的输入并含有噪声。

换句话说，整个过程不是在图像空间中搜索答案，而是在神经网络的参数空间中搜索答案，并且不使用预训练网络或图像数据库。在图像修复的过程中只需要用到被损坏的图像X0。

恢复压缩图像

最左边是目标图像。图像被压缩后开始优化，随着过程的进行，深度图像先验可以恢复大部分图像的细节。经过大约2400次迭代后，光晕和模糊的块状消失；在5000次迭代后，最终得到原图。

4倍图像超分辨率

与双三次上采样类似，这种方法没有提前获得数据，只有一张低分辨率图像，但它能产生边缘非常清晰的图像，与目前先进LapSRN和SRResNet的效果相差无几，后两者都是利用大型数据库来训练的。

区域修复

尽管没有经过训练，研究人员的这种方法也可以修复大片区域。左二是其他方法，右边两个是研究人员的成果。

去除噪点

去除水印

有关该项目的具体实验过程请点击链接查看。

项目地址：dmitryulyanov.github.io/deep_image_prior

论文地址：sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf