神经网络压缩：基于科学控制法的网络剪枝方法

随着深度学习的迅猛发展，计算机视觉、自然语言处理等一系列领域的算法性能都有了跨越式的进展。深度学习算法在学术界已经普遍应用，但在工业界却还没得到非常广泛的应用，其中一个重要原因就是深度学习网络的模型庞大、计算量巨大。一个卷积神经网络的权重文件动辄数百兆，尽管 目前智能手机的性能已经非常优秀，但是要在应用中塞入上百兆的权重也是一个很不明智的选择； 另一方面，在一些嵌入式的平台上，存储计算资源都十分有限，深度学习算法的移植更加困难。 所以深度学习模型的压缩，是非常重要的一个问题。

现有的神经网络压缩方法主要包括：浅层网络、剪枝网络、紧凑网络、对参数进行离散化处理等。其中剪枝网络是指对网络进行剪裁，以及对一些不携带有效信息的权重进行过滤，使用裁剪后的参数再重新对网络训练。

本周四晚8点，我们特别邀请到北京大学信息科学技术学院三年级博士生-唐业辉，作客AI研习社NeurIPS2020系列论文解读直播间，为大家详细介绍他被收录的论文情况。嘉宾分享完还有问答环节，欢迎大家积极参与讨论，一起探讨《神经网络小型化: 基于科学控制法的网络剪枝》。

分享主题：

《神经网络小型化: 基于科学控制法的网络剪枝》

分享时间：

2020年12月3日（周四）20:00-21:00

分享嘉宾：

▲唐业辉 

北京大学信息科学技术学院三年级博士生，已有多篇文章被CVPR、AAAI等会议接收，研究内容包括深度神经网络正则化方法、模型压缩和网络结构搜索等。

分享背景

深度神经网络在图像识别、目标检测、视频分析等众多领域有着广泛的应用，但他们所需要的计算资源和存储资源也是巨大的，难易部署于手机、可穿戴设备等边缘平台上。因此压缩模型是神经网络实际部署中的重要一环，而网络剪枝技术可以大幅减小网络的参数量和计算量。本次分享主要介绍一种基于科学控制法的神经网络剪枝方法以及特定场景下的剪枝策略。

分享提纲

1、神经网络压缩技术的背景和现状

2、基于科学控制法的神经网络剪枝方法（NeurIPS 2020）

3、训练样本不足时的网络剪枝策略 （AAAI 2020）

4、神经网络压缩相关资源推荐

论文地址

https://papers.nips.cc/paper/2020/hash/7bcdf75ad237b8e02e301f4091fb6bc8-Abstract.html

直播间观看地址

AI研习社直播间：https://live.yanxishe.com/room/886

Bilibili直播间：http://live.bilibili.com/5612206

---

扫码添加小助手微信，回复【NIPS】进入NeurIPS2020论文交流群

点击“阅读全文”，进入直播间预约，避免错过精彩分享！