While backpropagation (BP) has been applied to spiking neural networks (SNNs) achieving encouraging results, a key challenge involved is to backpropagate a continuous-valued loss over layers of spiking neurons exhibiting discontinuous all-or-none firing activities. Existing methods deal with this difficulty by introducing compromises that come with their own limitations, leading to potential performance degradation. We propose a novel BP-like method, called neighborhood aggregation (NA), which computes accurate error gradients guiding weight updates that may lead to discontinuous modifications of firing activities. NA achieves this goal by aggregating finite differences of the loss over multiple perturbed membrane potential waveforms in the neighborhood of the present membrane potential of each neuron while utilizing a new membrane potential distance function. Our experiments show that the proposed NA algorithm delivers the state-of-the-art performance for SNN training on several datasets.


翻译:虽然在刺激神经网络(SNNS)取得令人鼓舞的结果时采用了回推进法(BP),但所涉及的一项关键挑战是,在展示不连续的全或无线射击活动的刺激神经神经元的层层上,对持续估价的损失进行反演。 现有方法通过引入带有自身局限性的折射法来应对这一困难,从而导致潜在的性能退化。 我们提出了一种新型的BP类方法,称为邻里聚合(NA),该方法计算准确的误差梯度指导重量更新,从而可能导致对射击活动进行不连续的修改。 NA通过在使用新的膜潜在距离功能的同时,在目前每个神经元的膜潜力的周围,将多种环膜潜在波形上损失的有限差异综合起来,从而实现这一目标。 我们的实验表明,拟议的NA算法为SNNE培训在几个数据集上提供了最先进的性能。

0
下载
关闭预览

相关内容

【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
28+阅读 · 2021年7月16日
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Fully-Convolutional Siamese Networks for Object Tracking论文笔记
统计学习与视觉计算组
9+阅读 · 2018年10月12日
误差反向传播——MLP
统计学习与视觉计算组
5+阅读 · 2018年6月8日
已删除
将门创投
4+阅读 · 2018年5月31日
人工神经网络
平均机器
15+阅读 · 2017年7月17日
Arxiv
0+阅读 · 2021年12月5日
Arxiv
13+阅读 · 2021年6月14日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
9+阅读 · 2020年10月29日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
28+阅读 · 2021年7月16日
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
149+阅读 · 2020年6月28日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
相关资讯
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Fully-Convolutional Siamese Networks for Object Tracking论文笔记
统计学习与视觉计算组
9+阅读 · 2018年10月12日
误差反向传播——MLP
统计学习与视觉计算组
5+阅读 · 2018年6月8日
已删除
将门创投
4+阅读 · 2018年5月31日
人工神经网络
平均机器
15+阅读 · 2017年7月17日
相关论文
Arxiv
0+阅读 · 2021年12月5日
Arxiv
13+阅读 · 2021年6月14日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
9+阅读 · 2020年10月29日
Arxiv
27+阅读 · 2020年6月19日
Arxiv
23+阅读 · 2018年10月1日
Top
微信扫码咨询专知VIP会员