Google DeepMind最新报告—深度神经网络压缩进展（附PPT下载）- 专知

Google DeepMind最新报告—深度神经网络压缩进展（附PPT下载）

【导读】在人工智能领域，近几年来，深度神经网络的性能获得大幅度提升，同时网络的存储和计算复杂度也随之增长。如何对深度神经网络进行加速与压缩，提高深度神经网络的运行效率，成为深度学习领域的研究热点。针对该问题，在学术界和工业界共同的努力下，一系列的方法被相继提出。但该领域中仍存在着很多急需解决的关键问题，本文为大家带来了Google DeepMind 的最新报告，概述了神经网络压缩方法的研究现状和最新的一些压缩方法。

介绍：

经验表明，训练后的神经网络具有较高的参数冗余度。为什么在训练前不能使用较小的神经网络减少参数冗余，这仍然是一个有待解决的理论问题。另一方面，最近的科学文献报道了大量的实用方法来“压缩”神经网络，这些方法在训练期间或训练后(几乎)对任务性能做出很小的牺牲，同时显著降低了神经网络模型的计算需求。本文概述了神经网络压缩方法的研究现状，介绍了一种基于贝叶斯神经网络的压缩方法。讨论了贝叶斯神经网络压缩方法的一些吸引人的理论特性，并概述了神经网络训练的实际实现。最后讨论了神经网络压缩在实际应用中的困难，并展望了如何利用数据中的噪声和冗余来提高神经网络的计算效率。