近年来,随着深度学习的飞速发展,深度神经网络受到了越来越多的关注,在许多应用领域取得了显著效果。通常,在较高的计算量下,深度神经网络的学习能力随着网络层深度的增加而不断提高,因此深度神经网络在大型数据集上的表现非常卓越。然而,由于其计算量大、存储成本高、模型复杂等特性,使得深度学习无法有效地应用于轻量级移动便携设备。因此,压缩、优化深度学习模型成为目前研究的热点,当前主要的模型压缩方法有模型裁剪、轻量级网络设计、知识蒸馏、量化、体系结构搜索等。通过对以上方法的性能、优缺点和最新研究成果进行分析总结,对未来研究方向进行了展望。

成为VIP会员查看完整内容
111

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
最新《文本深度学习模型压缩》综述论文,21页pdf
专知会员服务
24+阅读 · 2020年8月19日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
216+阅读 · 2020年8月1日
深度学习目标检测方法综述
专知会员服务
255+阅读 · 2020年8月1日
专知会员服务
72+阅读 · 2020年5月21日
轻量级神经网络架构综述
专知会员服务
93+阅读 · 2020年4月29日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
3D目标检测进展综述
专知会员服务
185+阅读 · 2020年4月24日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
硬件加速神经网络综述
计算机研究与发展
23+阅读 · 2019年2月1日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
30+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
8+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
15+阅读 · 2017年8月25日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
VIP会员
相关VIP内容
最新《文本深度学习模型压缩》综述论文,21页pdf
专知会员服务
24+阅读 · 2020年8月19日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
216+阅读 · 2020年8月1日
深度学习目标检测方法综述
专知会员服务
255+阅读 · 2020年8月1日
专知会员服务
72+阅读 · 2020年5月21日
轻量级神经网络架构综述
专知会员服务
93+阅读 · 2020年4月29日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
3D目标检测进展综述
专知会员服务
185+阅读 · 2020年4月24日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
相关资讯
硬件加速神经网络综述
计算机研究与发展
23+阅读 · 2019年2月1日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
30+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
8+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
15+阅读 · 2017年8月25日
微信扫码咨询专知VIP会员