【泡泡一分钟】具有稀疏不变性的卷积神经网络（3dv-57）

会员服务 ·

【泡泡一分钟】具有稀疏不变性的卷积神经网络（3dv-57）

2018 年 3 月 15 日 泡泡机器人SLAM 泡泡一分钟

每天一分钟，带你读遍机器人顶级会议文章

标题：Sparsity Invariant CNNs

作者：Jonas Uhrig, Nick Schneider, Lukas Schneider, Uwe Franke ,Thomas Brox, Andreas Geiger

来源：3dv 2017 ( International Conference on 3D Vision）

编译：杨雨生(70)

播音员：郭晨

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

本文针对，利用稀疏的激光扫描数据进行深度重建，这样一个应用场景，研究稀疏输入的卷积神经网络。首先，在稀疏输入的情况下，即使将丢失的数据的位置信息提供给神经网络，传统的卷积神经网络效果也不好。为了解决这个问题，作者提出一种简单但是有效的稀疏卷积层。在卷积操作的过程中，稀疏卷积层准确的包含丢失的数据的位置信息。作者通过实验，在多个基准上验证了所提出了神经网络架构的优越性。为了进行评估，作者基于KITTI数据集，创建了一个新的数据集，原数据集包含94k张标注过的RGB图像。新创建的数据集可以在深度重建和深度预测时，用来对模型进行训练和测评，并且已经在网上开源，网址为：

www.cvlibs.net/datasets/kitti。

上图为Depth completion的例子，

(a)是稀疏的不规则的输入数据，用传统的CNNs方法，产生的结果如图(c)所示，有很多噪音，作者做提出的方法产生的结果更加平滑和准确，如图(d)所示。

上图为作者所提出的神经网络的结构。最左侧的黄色的是输入层（稀疏的深度数据），红色是二进制的mask，用来表示所对应的位置是否为有效的数据。中间是几层稀疏卷积层，中间执行最大池化策略时，其核逐渐由11*11，变为3*3。

上图为稀疏卷积层的操作，其中一个圈中有一个点的图标，表示对应位置的元素相乘。*号表示卷积，输入特征可以是单通道的，也可以多通道的。

Abstract

In this paper, we consider convolutional neural networks operating on sparse inputs with an application to depth completion from sparse laser scan data. First, we show that traditional convolutional networks perform poorly when applied to sparse data even when the location of missing data is provided to the network. To overcome this problem, we propose a simple yet effective sparse convolution layer which explicitly considers the location of missing data during the convolution operation. We demonstrate the benefits of the proposed network architecture in synthetic and real experiments with respect to various baseline approaches. Compared to dense baselines, the proposed sparse convolution network generalizes well to novel datasets and is invariant to the level of sparsity in the data. For our evaluation, we derive a novel dataset from the KITTI benchmark, comprising over 94k depth annotated RGB images. Our dataset allows for training and evaluating depth completion and depth prediction techniques in challenging real-world settings and is available online at:

www.cvlibs.net/datasets/kitti.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

百度网盘链接: https://pan.baidu.com/s/1YuMZyhwdcajb-bJ8KxxWRQ 密码: q5yb