Spiking Neural Networks (SNNs) are being explored for their potential energy efficiency benefits due to sparse, event-driven computation. Non-spiking artificial neural networks are typically trained with stochastic gradient descent using backpropagation. The calculation of true gradients for backpropagation in spiking neural networks is impeded by the non-differentiable firing events of spiking neurons. On the other hand, using approximate gradients is effective, but computationally expensive over many time steps. One common technique, then, for training a spiking neural network is to train a topologically-equivalent non-spiking network, and then convert it to an spiking network, replacing real-valued inputs with proportionally rate-encoded Poisson spike trains. Converted SNNs function sufficiently well because the mean pre-firing membrane potential of a spiking neuron is proportional to the dot product of the input rate vector and the neuron weight vector, similar to the functionality of a non-spiking network. However, this conversion only considers the mean and not the temporal variance of the membrane potential. As the standard deviation of the pre-firing membrane potential is proportional to the L4-norm of the neuron weight vector, we propose a weight adjustment based on the L4-norm during the conversion process in order to improve classification accuracy of the converted network.


翻译:正在探索螺旋神经网络(SNNS)的潜在能源效率效益。 非喷射人工神经网络通常会通过反向反射法,用蒸发梯度梯度下降来训练。在喷射神经网络中,真实的反向剖析梯度的计算受到不可区分的神经神经神经系统发射事件的阻碍。另一方面,使用近似梯度是有效的,但计算在许多步骤中成本昂贵。因此,培训喷射神经网络的一个常见技术是培训一个顶等非喷射网络,然后将其转换成喷射网络,用比例速码普瓦森峰值列车替换实际价值的投入。转换 SNNNS功能相当好,因为喷射神经系统的平均预发膜潜力与输入速矢量和神经重量矢量的点产值成成成比例,类似于非喷射网络的功能。然而,这种转换仅考虑以比例编码Poclegn4 的神经系统变压偏移偏重度进程,而不是以比例变正向方向的系统变换变压中,基于正压变压前的系统变色变色变色变的系统变压,这是基于正压的系统变压变压变压的系统变压,在正压中,根据正压变压变压调整中, 方向调整的偏向方向的神经变压变压变压中, 方向的偏移的偏移成成正正正正正正正正向方向方向方向方向方向方向方向方向方向。

0
下载
关闭预览

相关内容

【AAAI2022】自适应的随机平滑防御的鲁棒性认证方法
专知会员服务
24+阅读 · 2021年12月27日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
30+阅读 · 2020年4月15日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2022年1月22日
Arxiv
0+阅读 · 2022年1月21日
Arxiv
13+阅读 · 2021年5月25日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
31+阅读 · 2018年11月13日
VIP会员
相关VIP内容
【AAAI2022】自适应的随机平滑防御的鲁棒性认证方法
专知会员服务
24+阅读 · 2021年12月27日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
30+阅读 · 2020年4月15日
相关资讯
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员