【优青论文】深度神经网络压缩与加速综述

2018 年 9 月 20 日 计算机研究与发展

深度神经网络压缩与加速综述


深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.

本文对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.

纪荣嵘,林绍辉,晁飞,等. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888.
Ji Rongrong,Lin Shaohui,Chao Fei,et al. Deep Neural Network Compression and Acceleration: A Review. Journal of Computer Research and Development, 2018, 55(9): 1871-1888. 

优青

专题

国家自然科学基金委员会自2012年设立优秀青年科学基金(“优青基金”)项目以来,至今已资助6批在基础研究方面崭露头角的青年学者自主选题开展创新研究。为了促进计算机科学技术领域的研究、开发、教育和前沿知识的传播,《计算机研究与发展》自2015年以来刊出了“优青专题”系列,通过集中介绍这些优秀青年学者(及其合作者)的研究成果或学术见解,使读者了解这一层次研究人员的研究状况及相关方向的发展趋势。本期是该系列的第4个专题,共收录12篇文章。

纪荣嵘,厦门大学教授,2014年优青项目获得者。

点击“阅读全文”可免费全文下载。

登录查看更多
14

相关内容

最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
296+阅读 · 2020年6月16日
最新《知识蒸馏》2020综述论文,20页pdf,悉尼大学
专知会员服务
156+阅读 · 2020年6月14日
专知会员服务
73+阅读 · 2020年5月21日
基于深度神经网络的少样本学习综述
专知会员服务
168+阅读 · 2020年4月22日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
专知会员服务
85+阅读 · 2019年12月13日
自动机器学习:最新进展综述
专知会员服务
117+阅读 · 2019年10月13日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
46+阅读 · 2019年2月15日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
区块链隐私保护研究综述——祝烈煌详解
计算机研究与发展
22+阅读 · 2018年11月28日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
30+阅读 · 2018年10月31日
【优青论文】视觉问答技术研究
计算机研究与发展
13+阅读 · 2018年9月21日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
Image Segmentation Using Deep Learning: A Survey
Arxiv
43+阅读 · 2020年1月15日
Arxiv
5+阅读 · 2018年10月11日
VIP会员
相关VIP内容
最新《深度多模态数据分析》综述论文,26页pdf
专知会员服务
296+阅读 · 2020年6月16日
最新《知识蒸馏》2020综述论文,20页pdf,悉尼大学
专知会员服务
156+阅读 · 2020年6月14日
专知会员服务
73+阅读 · 2020年5月21日
基于深度神经网络的少样本学习综述
专知会员服务
168+阅读 · 2020年4月22日
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
专知会员服务
85+阅读 · 2019年12月13日
自动机器学习:最新进展综述
专知会员服务
117+阅读 · 2019年10月13日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
相关资讯
无参考图像质量评价研究进展综述
人工智能前沿讲习班
46+阅读 · 2019年2月15日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
区块链隐私保护研究综述——祝烈煌详解
计算机研究与发展
22+阅读 · 2018年11月28日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
30+阅读 · 2018年10月31日
【优青论文】视觉问答技术研究
计算机研究与发展
13+阅读 · 2018年9月21日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
Top
微信扫码咨询专知VIP会员