Mixed-signal analog/digital circuits emulate spiking neurons and synapses with extremely high energy efficiency, an approach known as "neuromorphic engineering". However, analog circuits are sensitive to process-induced variation among transistors in a chip ("device mismatch"). For neuromorphic implementation of Spiking Neural Networks (SNNs), mismatch causes parameter variation between identically-configured neurons and synapses. Each chip exhibits a different distribution of neural parameters, causing deployed networks to respond differently between chips. Current solutions to mitigate mismatch based on per-chip calibration or on-chip learning entail increased design complexity, area and cost, making deployment of neuromorphic devices expensive and difficult. Here we present a supervised learning approach that produces SNNs with high robustness to mismatch and other common sources of noise. Our method trains SNNs to perform temporal classification tasks by mimicking a pre-trained dynamical system, using a local learning rule from non-linear control theory. We demonstrate our method on two tasks requiring memory, and measure the robustness of our approach to several forms of noise and mismatch. We show that our approach is more robust than common alternatives for training SNNs. Our method provides robust deployment of pre-trained networks on mixed-signal neuromorphic hardware, without requiring per-device training or calibration.


翻译:混合信号模拟/数字电路模仿高能效神经神经元和突触,其能量效率极高的神经元和神经神经元和神经突触。然而,模拟电路对芯片中晶体管的流程变化(“缝隙不匹配”)具有敏感性。对于Spiking神经网络(SNNS)的神经形态实施而言,不匹配导致相同配置的神经元和突触之间的参数差异。每个芯片显示神经参数的不同分布,导致部署的网络在芯片之间反应不尽相同。目前根据每桶校准或芯片学习来减少不匹配的解决方案要求增加设计复杂性、面积和成本,使神经畸形装置的部署变得昂贵和困难。在这里,我们提出了一个监督性学习方法,使SNNNUS产生高度坚固的不匹配和其他常见的噪音源。我们的方法训练SNNNIS进行时间分类,使用非线性控制理论的本地学习规则进行模拟。我们展示了两种需要记忆的任务的方法,并测量了我们方法的坚固度,测量了我们方法的坚固性神经定装置的使用方式,而没有硬的硬性硬的硬的硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性硬性的硬性的硬性的硬性硬性硬性硬性硬性调调。

0
下载
关闭预览

相关内容

神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
9+阅读 · 2018年3月20日
Arxiv
6+阅读 · 2018年2月26日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
相关论文
Meta-Learning with Implicit Gradients
Arxiv
13+阅读 · 2019年9月10日
Arxiv
9+阅读 · 2018年3月20日
Arxiv
6+阅读 · 2018年2月26日
Top
微信扫码咨询专知VIP会员