深度神经网络(DNNs)在许多计算机视觉任务中是成功的。然而,最精确的DNN需要数以百万计的参数和操作,这使得它们需要大量的能量、计算和内存。这就阻碍了大型DNN在计算资源有限的低功耗设备中的部署。最近的研究改进了DNN模型,在不显著降低精度的前提下,降低了内存需求、能耗和操作次数。本文综述了低功耗深度学习和计算机视觉在推理方面的研究进展,讨论了压缩和加速DNN模型的方法。这些技术可以分为四大类:(1)参数量化和剪枝;(2)压缩卷积滤波器和矩阵分解;(3)网络结构搜索;(4)知识提取。我们分析了每一类技术的准确性、优点、缺点和潜在的问题解决方案。我们还讨论了新的评价指标,作为今后研究的指导。

成为VIP会员查看完整内容
44

相关内容

最新《知识蒸馏》2020综述论文,20页pdf,悉尼大学
专知会员服务
157+阅读 · 2020年6月14日
专知会员服务
73+阅读 · 2020年5月21日
图神经网络表达能力的研究综述,41页pdf
专知会员服务
169+阅读 · 2020年3月10日
MIT公开课-Vivienne Sze教授《深度学习硬件加速器》,86页ppt
深度神经网络模型压缩与加速综述
专知会员服务
128+阅读 · 2019年10月12日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
CAAI-AIDL 第六期《自然语言处理》丨 京东何晓冬,清华大学唐杰
中国人工智能学会
10+阅读 · 2018年12月16日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
31+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
机器学习(36)之协同过滤典型算法概述【精华】
机器学习算法与Python学习
4+阅读 · 2018年1月20日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
9+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
Arxiv
15+阅读 · 2019年6月25日
Area Attention
Arxiv
5+阅读 · 2019年2月5日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
VIP会员
相关VIP内容
最新《知识蒸馏》2020综述论文,20页pdf,悉尼大学
专知会员服务
157+阅读 · 2020年6月14日
专知会员服务
73+阅读 · 2020年5月21日
图神经网络表达能力的研究综述,41页pdf
专知会员服务
169+阅读 · 2020年3月10日
MIT公开课-Vivienne Sze教授《深度学习硬件加速器》,86页ppt
深度神经网络模型压缩与加速综述
专知会员服务
128+阅读 · 2019年10月12日
相关资讯
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
CAAI-AIDL 第六期《自然语言处理》丨 京东何晓冬,清华大学唐杰
中国人工智能学会
10+阅读 · 2018年12月16日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
31+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
14+阅读 · 2018年9月20日
机器学习(36)之协同过滤典型算法概述【精华】
机器学习算法与Python学习
4+阅读 · 2018年1月20日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
9+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
微信扫码咨询专知VIP会员