Spiking Neural Networks (SNNs) are a promising alternative to traditional deep learning methods since they perform event-driven information processing. However, a major drawback of SNNs is high inference latency. The efficiency of SNNs could be enhanced using compression methods such as pruning and quantization. Notably, SNNs, unlike their non-spiking counterparts, consist of a temporal dimension, the compression of which can lead to latency reduction. In this paper, we propose spatial and temporal pruning of SNNs. First, structured spatial pruning is performed by determining the layer-wise significant dimensions using principal component analysis of the average accumulated membrane potential of the neurons. This step leads to 10-14X model compression. Additionally, it enables inference with lower latency and decreases the spike count per inference. To further reduce latency, temporal pruning is performed by gradually reducing the timesteps while training. The networks are trained using surrogate gradient descent based backpropagation and we validate the results on CIFAR10 and CIFAR100, using VGG architectures. The spatiotemporally pruned SNNs achieve 89.04% and 66.4% accuracy on CIFAR10 and CIFAR100, respectively, while performing inference with 3-30X reduced latency compared to state-of-the-art SNNs. Moreover, they require 8-14X lesser compute energy compared to their unpruned standard deep learning counterparts. The energy numbers are obtained by multiplying the number of operations with energy per operation. These SNNs also provide 1-4% higher robustness against Gaussian noise corrupted inputs. Furthermore, we perform weight quantization and find that performance remains reasonably stable up to 5-bit quantization.


翻译:Spik Neural Networks(SNN)是传统深层学习方法的一个很有希望的替代方法,因为它们进行事件驱动的信息处理。然而,SNNS的一大缺点是高推力延缓。 SNNS的效率可以用压缩方法提高,例如修剪和量化。值得注意的是,SNNS不同于其非喷射的对应方,它的压缩可以导致延缓。在本文中,我们提议对SNNS进行空间和时间修剪。首先,通过对神经神经平均积累的膜潜力进行主要的精度分析,确定层际的重大尺寸。这一步骤可以提高SNNNNNP的效率。此外,SNNNNP可以推断低调,降低指数值。为了进一步降低拉伸缩,通过在培训中逐步缩短时间段来进行时间缩放。网络使用基于回流的直线梯度下降,我们通过直径直调的直径直径直径直线操作来验证CRFAR10和CIFAR100的结果。我们用VGNFAR10和SNFOR的相对精确度进行对比的推算,同时用SNFER IM IM IM IM IM 和SL IML IM IM 继续使用SL IM IML IML IM IM IML IML IML IM IM 继续使用S IML IML IML IML 继续使用S IML IML IM IM IM IM IM IM IM IM IML IML IML IML IM 继续使用S IMS 继续使用 IM IML IML IMS IMS IMS IMS IMS IMS IS IM IM IM IM IM IM IM IM IM IM IM IM IM IS IS IS IS IS 继续 AL IS IS IS IML IML IS IS IS IS IS IS IS IS IS IS AL IS IS IS IS IS IS IS IS IS IS IS IS IS AL IS AL 继续 AL

0
下载
关闭预览

相关内容

不可错过!华盛顿大学最新《生成式模型》课程,附PPT
专知会员服务
63+阅读 · 2020年12月11日
专知会员服务
52+阅读 · 2020年11月3日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
38+阅读 · 2020年2月21日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
已删除
将门创投
8+阅读 · 2019年3月18日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
时延神经网络(TDNN)原理及其TensorFlow实现
深度学习每日摘要
56+阅读 · 2017年5月19日
Arxiv
0+阅读 · 2021年6月11日
Arxiv
0+阅读 · 2021年6月7日
Arxiv
37+阅读 · 2021年2月10日
VIP会员
相关资讯
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
已删除
将门创投
8+阅读 · 2019年3月18日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
时延神经网络(TDNN)原理及其TensorFlow实现
深度学习每日摘要
56+阅读 · 2017年5月19日
Top
微信扫码咨询专知VIP会员