【ICLR-2020】网络反卷积，NETWORK DECONVOLUTION

题目： NETWORK DECONVOLUTION

摘 要:

卷积是卷积神经网络(CNNs)的核心操作，它将一个核函数应用于图像上移位的重叠区域。然而，由于实际图像数据具有很强的相关性，卷积核实际上是对冗余数据的再学习。在这项工作中，我们证明了这种冗余使神经网络训练具有挑战性，并提出了网络反褶积，这是一种在数据被输入到每一层之前最优地去除像素和信道相关的方法。网络反褶积可以有效地计算在一个卷积层的计算成本的一小部分。我们还发现，网络第一层的反褶积滤波器与大脑视觉区域的生物神经元中发现的中央环绕结构相似。使用这种内核进行过滤会得到一个稀疏表示，这是神经网络训练中所缺少的一个理想特性。在不使用批处理标准化的情况下，从稀疏表示中学习可以促进更快的收敛和更好的结果。我们将我们的网络反褶积操作应用到10个现代神经网络模型中，在每个模型中替换批量归一化。大量的实验表明，在CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST、Cityscapes和ImageNet数据集的所有情况下，网络反卷积操作都能够提供性能改进。

地址：

https://openreview.net/forum?id=rkeu30EtvS

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NDLR” 就可以获取《网络反卷积，NETWORK DECONVOLUTION》论文专知资源链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源