Keras实现：用部分卷积补全图像不规则缺损

2018 年 10 月 24 日 论智

来源：arXiv

编译：Bot

编者按：图像补全是一个热门研究领域，今年4月，NVIDIA发表了一篇精彩的论文： Image Inpainting for Irregular Holes Using Partial Convolutions。文章指出，以往图像补全技术都是用残缺位置周边的有效像素统计信息填充目标区域，这种做法虽然结果平滑，但存在效果不逼真、有伪像，且后期处理代价昂贵的缺点。因此他们用大量不规则掩膜图像训练了一个深度神经网络，它能为图像生成合理掩膜，再结合仅以有效像素为条件的部分卷积（Partial Convolutions），最终模型的图像补全效果远超前人的成果。

而近日，有网友复现了这篇论文，并在GitHub上公开了他的Keras实现，感兴趣的读者前去一看：github.com/MathiasGruber/PConv-Keras

NVIDIA论文

环境

Python 3.6
Keras 2.2.0
Tensorflow 1.8

如何使用这个repo

repo中包含的PConv2D keras实现可以在libs/pconv_layer.py和libs/pconv_model.py中找到。除此之外，作者还提供了四个jupyter NoteBook，详细介绍了实现网络时经历的几个步骤，即：

step 1：创建随机不规则掩膜
step 2：实现和测试PConv2D层
step 3：实现和测试采用UNet架构的PConv2D层
step 4：在ImageNet上训练和测试最终模型

实现细节

在设计图像补全算法时，研究人员首先要考虑两个因素：从哪里找到可利用的信息；怎么评判整体补全效果。无论是天然破损的图像，还是被人为打上马赛克的图像，这之中都涉及图像语义上的预测。

这篇论文发表之前，学界在图像补全上的最先进方法之一是利用剩余图像的像素统计信息来填充残缺部分，这利用了同一幅图像素间的连接性，但缺点是只反映了统计上的联系，无法真正实现语义上的估计。后来也有人引入深度学习的方法，训练了一个深度神经网络，以端到端的方式学习语义先验和有意义的隐藏表示，但它仍局限于初始值，而且使用的是固定的替换值，效果依然不佳。

NVIDIA在论文中提出了一种新技巧：添加部分卷积层（Partial Convolutional Layer），并在这一层之后加上一个掩膜更新步骤。部分卷积层包含生成掩膜和重新归一化，它类似图像语义分割任务中的segmentation-aware convolutional（分段感知卷积），能在不改变输入掩膜的情况下分割图像信息。

简而言之，给定给定一个二元掩膜，部分卷积层的卷积结果只取决于每一层的非残缺区域。相比segmentation-aware convolutional，NVIDIA的创新之处是自动掩膜更新步骤，它可以消除部分卷积能够在非掩膜值上操作的任何掩膜。

具体设计过程可以阅读论文查看，下面我们只总结一些细节。

生成掩膜

为了训练能生成不规则掩模的深度神经网络，论文研究人员截取视频中的两个连续帧，用遮挡/解除遮挡创建了大量不规则掩膜，虽然他们在论文中称将公开这个数据集，但现在我们还找不到相关资源。

在这个Keras实现中，作者简单创建了一个遮挡生成函数，用OpenCV绘制一些随机的不规则形状，以此作为掩膜数据，效果目前看来还不错。

部分卷积层

这个实现中最关键的部分就是论文的重点“部分卷积层”。基本上，给定卷积filter W和相应的偏差b，部分卷积的形式是：