Many networks in the brain are sparsely connected, and the brain eliminates synapses during development and learning. How could the brain decide which synapses to prune? In a recurrent network, determining the importance of a synapse between two neurons is a difficult computational problem, depending on the role that both neurons play and on all possible pathways of information flow between them. Noise is ubiquitous in neural systems, and often considered an irritant to be overcome. Here we suggest that noise could play a functional role in synaptic pruning, allowing the brain to probe network structure and determine which synapses are redundant. We construct a simple, local, unsupervised plasticity rule that either strengthens or prunes synapses using only synaptic weight and the noise-driven covariance of the neighboring neurons. For a subset of linear and rectified-linear networks, we prove that this rule preserves the spectrum of the original matrix and hence preserves network dynamics even when the fraction of pruned synapses asymptotically approaches 1. The plasticity rule is biologically-plausible and may suggest a new role for noise in neural computation.


翻译:大脑中的许多网络连接稀少, 大脑在开发和学习过程中消除突触。 大脑如何决定哪些突触会发芽? 在经常性网络中, 确定两个神经元间突触的重要性是一个困难的计算问题, 取决于神经人扮演的角色以及它们之间信息流动的所有可能途径。 噪音在神经系统中是无处不在的, 并且常常被认为是需要克服的刺激因素。 我们在这里建议, 噪音可以在突触的剪裁剪中起到功能作用, 允许大脑探测网络结构并确定哪些突触是多余的。 我们构建了一个简单、 本地的、 不受监督的塑性规则, 要么用神经元的合成重量, 要么用周围神经元的噪声驱动的异常态。 对于一个线性网络和纠正性线性网络的子集, 我们证明这一规则可以保存原始矩阵的频谱, 从而维护网络的动态, 即使当被破碎的突触动的神经性神经性反应的分数值时, 也能够显示生物定律性, 。

0
下载
关闭预览

相关内容

【如何做研究】How to research ,22页ppt
专知会员服务
108+阅读 · 2021年4月17日
专知会员服务
159+阅读 · 2020年1月16日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
6+阅读 · 2019年11月14日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
3+阅读 · 2018年10月25日
Arxiv
4+阅读 · 2018年2月19日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
相关资讯
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员