We propose a new learning algorithm to train spiking neural networks (SNN) using conventional artificial neural networks (ANN) as proxy. We couple two SNN and ANN networks, respectively, made of integrate-and-fire (IF) and ReLU neurons with the same network architectures and shared synaptic weights. The forward passes of the two networks are totally independent. By assuming IF neuron with rate-coding as an approximation of ReLU, we backpropagate the error of the SNN in the proxy ANN to update the shared weights, simply by replacing the ANN final output with that of the SNN. We applied the proposed proxy learning to deep convolutional SNNs and evaluated it on two benchmarked datasets of Fahion-MNIST and Cifar10 with 94.56% and 93.11% classification accuracy, respectively. The proposed networks could outperform other deep SNNs trained with tandem learning, surrogate gradient learning, or converted from deep ANNs. Converted SNNs require long simulation times to reach reasonable accuracies while our proxy learning leads to efficient SNNs with much shorter simulation times.


翻译:我们提出一个新的学习算法,用传统的人工神经网络(ANN)作为代理来培训神经网络(SNN),用传统人造神经网络(ANN)来培训神经网络(SNN),我们将两个SNN和ANN网络(ANN)分别合并成综合与火(IF)和RELU神经网络(RLU),使用相同的网络架构和共享合成重量。这两个网络的前身是完全独立的。假设IF神经与比率编码是RELU的近似值,我们支持代理ANN的SNN错误来更新共享的重量,只是用SNNN取代了AN的最后输出。我们把拟议的代理学习应用到深革命性 SNNP(I) 和 Cifar10 (分别为94.56%和93.11%的分类精度) 两个基准数据集。提议的网络可以比其他经过同步学习、模拟梯度学习或从深层ANNW转换的深层SNNP(S) 。转换 SNNS需要很长的模拟时间才能达到合理的读数。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
31+阅读 · 2020年4月15日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
7+阅读 · 2021年7月5日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
4+阅读 · 2017年12月25日
Arxiv
4+阅读 · 2017年1月2日
VIP会员
相关资讯
脉冲神经网络(SNN)概述
人工智能前沿讲习班
60+阅读 · 2019年5月30日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
7+阅读 · 2021年7月5日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
4+阅读 · 2017年12月25日
Arxiv
4+阅读 · 2017年1月2日
Top
微信扫码咨询专知VIP会员