摘要: 卷积神经网络(convolutional neural network, CNN)在图像处理、语音识别、自然语言处理等领域实现了很好的性能.大规模的神经网络模型通常遭遇计算、存储等资源限制,稀疏神经网络的出现有效地缓解了对计算和存储的需求.尽管现有的领域专用加速器能够有效处理稀疏网络,它们通过算法和结构的紧耦合实现高能效,却丧失了结构的灵活性.粗粒度数据流架构通过灵活的指令调度可以实现不同的神经网络应用.基于该架构,密集卷积规则的计算特性使不同通道共享相同的一套指令执行,然而稀疏网络中存在权值稀疏,使得这些指令中存在0值相关的无效指令,而现有的指令执行方式无法自动跳过它们从而产生无效计算.同时在执行不规则的稀疏网络时,现有的指令映射方法造成了计算阵列的负载不均衡.这些问题阻碍了稀疏网络性能的提升.基于不同通道共享一套指令的前提下,根据稀疏网络的数据和指令特征增加指令控制单元实现权值数据中0值相关指令的检测和跳过,同时使用负载均衡的指令映射算法解决稀疏网络中指令执行不均衡问题.实验表明:与密集网络相比稀疏网络实现了平均1.55倍的性能提升和63.77%的能耗减少.同时比GPU(cuSparse)和Cambricon-X实现的稀疏网络分别快2.39倍(Alexnet)、2.28倍(VGG16)和1.14倍(Alexnet)、1.23倍(VGG16).

https://crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200112

成为VIP会员查看完整内容
22

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
47+阅读 · 2021年6月28日
图计算加速架构综述
专知会员服务
48+阅读 · 2021年4月5日
专知会员服务
138+阅读 · 2021年3月30日
专知会员服务
56+阅读 · 2021年2月12日
专知会员服务
47+阅读 · 2021年2月2日
专知会员服务
78+阅读 · 2020年8月4日
基于改进卷积神经网络的短文本分类模型
专知会员服务
25+阅读 · 2020年7月22日
轻量级神经网络架构综述
专知会员服务
95+阅读 · 2020年4月29日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
神经网络推理加速之模型量化
ApacheMXNet
8+阅读 · 2019年7月8日
如何处理多种退化类型的卷积超分辨率
算法与数学之美
6+阅读 · 2018年6月1日
【干货】使用Pytorch实现卷积神经网络
专知
13+阅读 · 2018年5月12日
一文概览基于深度学习的超分辨率重建架构
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Arxiv
4+阅读 · 2019年5月1日
VIP会员
相关VIP内容
专知会员服务
47+阅读 · 2021年6月28日
图计算加速架构综述
专知会员服务
48+阅读 · 2021年4月5日
专知会员服务
138+阅读 · 2021年3月30日
专知会员服务
56+阅读 · 2021年2月12日
专知会员服务
47+阅读 · 2021年2月2日
专知会员服务
78+阅读 · 2020年8月4日
基于改进卷积神经网络的短文本分类模型
专知会员服务
25+阅读 · 2020年7月22日
轻量级神经网络架构综述
专知会员服务
95+阅读 · 2020年4月29日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
相关资讯
神经网络推理加速之模型量化
ApacheMXNet
8+阅读 · 2019年7月8日
如何处理多种退化类型的卷积超分辨率
算法与数学之美
6+阅读 · 2018年6月1日
【干货】使用Pytorch实现卷积神经网络
专知
13+阅读 · 2018年5月12日
一文概览基于深度学习的超分辨率重建架构
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
CNN模型压缩与加速算法综述
微信AI
6+阅读 · 2017年10月11日
微信扫码咨询专知VIP会员