摘要:卷积神经网络在广泛的应用中取得了优秀的表现,但巨大的资源消耗量使得其应用于移动端和嵌入式设备成为了挑战。为了解决此类问题,需要对网络模型在大小、速度和准确度方面做出平衡。首先,从模型是否预先训练角度,简要介绍了网络压缩与加速的两类方法——神经网络压缩和紧凑的神经网络。具体地,阐述了紧凑的神经网络设计方法,展示了其中不同运算方式,强调了这些运算特点,并根据基础运算不同,将其分为基于空间卷积的模型设计和基于移位卷积模型设计两大类,然后每类分别选取三个网络模型从基础运算单元、核心构建块和整体网络结构进行论述。同时,分析了各网络以及常规网络在ImageNet数据集上的性能。最后,总结了现有的紧凑神经网络设计技巧,并展望了未来的发展方向。

成为VIP会员查看完整内容
73

相关内容

专知会员服务
107+阅读 · 2020年5月21日
基于深度学习的手语识别综述
专知会员服务
45+阅读 · 2020年5月18日
基于小样本学习的图像分类技术综述
专知会员服务
148+阅读 · 2020年5月6日
轻量级神经网络架构综述
专知会员服务
95+阅读 · 2020年4月29日
【天津大学】风格线条画生成技术综述
专知会员服务
31+阅读 · 2020年4月26日
基于深度神经网络的少样本学习综述
专知会员服务
168+阅读 · 2020年4月22日
注意力机制模型最新综述
专知会员服务
260+阅读 · 2019年10月20日
自动机器学习:最新进展综述
专知会员服务
117+阅读 · 2019年10月13日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
AutoML研究综述:让AI学习设计AI
机器之心
13+阅读 · 2019年5月7日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
30+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
9+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
A Survey on Bayesian Deep Learning
Arxiv
62+阅读 · 2020年7月2日
A Survey on Edge Intelligence
Arxiv
50+阅读 · 2020年3月26日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
专知会员服务
107+阅读 · 2020年5月21日
基于深度学习的手语识别综述
专知会员服务
45+阅读 · 2020年5月18日
基于小样本学习的图像分类技术综述
专知会员服务
148+阅读 · 2020年5月6日
轻量级神经网络架构综述
专知会员服务
95+阅读 · 2020年4月29日
【天津大学】风格线条画生成技术综述
专知会员服务
31+阅读 · 2020年4月26日
基于深度神经网络的少样本学习综述
专知会员服务
168+阅读 · 2020年4月22日
注意力机制模型最新综述
专知会员服务
260+阅读 · 2019年10月20日
自动机器学习:最新进展综述
专知会员服务
117+阅读 · 2019年10月13日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
相关资讯
AutoML研究综述:让AI学习设计AI
机器之心
13+阅读 · 2019年5月7日
硬件加速神经网络综述
计算机研究与发展
24+阅读 · 2019年2月1日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
30+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
27+阅读 · 2018年6月13日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
9+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
微信扫码咨询专知VIP会员