深度神经网络压缩与加速综述
深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.
本文对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.
纪荣嵘,林绍辉,晁飞,等. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888.
Ji Rongrong,Lin Shaohui,Chao Fei,et al. Deep Neural Network Compression and Acceleration: A Review. Journal of Computer Research and Development, 2018, 55(9): 1871-1888.
国家自然科学基金委员会自2012年设立优秀青年科学基金(“优青基金”)项目以来,至今已资助6批在基础研究方面崭露头角的青年学者自主选题开展创新研究。为了促进计算机科学技术领域的研究、开发、教育和前沿知识的传播,《计算机研究与发展》自2015年以来刊出了“优青专题”系列,通过集中介绍这些优秀青年学者(及其合作者)的研究成果或学术见解,使读者了解这一层次研究人员的研究状况及相关方向的发展趋势。本期是该系列的第4个专题,共收录12篇文章。
纪荣嵘,厦门大学教授,2014年优青项目获得者。
点击“阅读全文”可免费全文下载。