Our brain consists of biological neurons encoding information through accurate spike timing, yet both the architecture and learning rules of our brain remain largely unknown. Comparing to the recent development of backpropagation-based (BP-based) methods that are able to train spiking neural networks (SNNs) with high accuracy, biologically plausible methods are still in their infancy. In this work, we wish to answer the question of whether it is possible to attain comparable accuracy of SNNs trained by BP-based rules with bio-plausible mechanisms. We propose a new bio-plausible learning framework, consisting of two components: a new architecture, and its supporting learning rules. With two types of cells and four types of synaptic connections, the proposed local microcircuit architecture can compute and propagate error signals through local feedback connections and support training of multi-layers SNNs with a globally defined spiking error function. Under our microcircuit architecture, we employ the Spike-Timing-Dependent-Plasticity (STDP) rule operating in local compartments to update synaptic weights and achieve supervised learning in a biologically plausible manner. Finally, We interpret the proposed framework from an optimization point of view and show the equivalence between it and the BP-based rules under a special circumstance. Our experiments show that the proposed framework demonstrates learning accuracy comparable to BP-based rules and may provide new insights on how learning is orchestrated in biological systems.


翻译:我们的大脑通过精确的峰值计时,包含生物神经编码信息,然而,我们的大脑的架构和学习规则仍然基本上不为人所知。与最近开发的基于后再进化的(基于BP的)方法相比,这些方法能够高精度地培训神经网络(SNN),在生物学上可信的方法仍然处于萌芽阶段。在这项工作中,我们希望回答这样一个问题,即能否通过生物可塑性机制实现受基于BP规则培训的SNNS的可比准确性。我们提出了一个新的生物可塑性学习框架,由两个组成部分组成:新结构及其支持的学习规则。用两种类型的细胞和四种类型的合成连接(BBB)方法,拟议的当地微电路结构可以通过当地的反馈连接来计算和传播错误信号,并支持对多层SNNP的训练,并具有全球性的闪烁性功能功能功能。我们用基于Spik-Timin-Platicity (STDP) 规则在本地车舱操作中更新合成重量并实现监督的精确度,在生物可塑性框架下,我们提出的生物可塑性框架中,我们从生物可塑性规则中展示的模型中,我们提出的特别的学习方式展示。

0
下载
关闭预览

相关内容

神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
35+阅读 · 2020年2月27日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
56+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
14+阅读 · 2019年9月11日
Learning by Abstraction: The Neural State Machine
Arxiv
6+阅读 · 2019年7月11日
Learning to Weight for Text Classification
Arxiv
8+阅读 · 2019年3月28日
Arxiv
8+阅读 · 2018年3月20日
VIP会员
相关资讯
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员