The brain solves the credit assignment problem remarkably well. For credit to be assigned across neural networks they must, in principle, wait for specific neural computations to finish. How the brain deals with this inherent locking problem has remained unclear. Deep learning methods suffer from similar locking constraints both on the forward and feedback phase. Recently, decoupled neural interfaces (DNIs) were introduced as a solution to the forward and feedback locking problems in deep networks. Here we propose that a specialised brain region, the cerebellum, helps the cerebral cortex solve similar locking problems akin to DNIs. To demonstrate the potential of this framework we introduce a systems-level model in which a recurrent cortical network receives online temporal feedback predictions from a cerebellar module. We test this cortico-cerebellar recurrent neural network (ccRNN) model on a number of sensorimotor (line and digit drawing) and cognitive tasks (pattern recognition and caption generation) that have been shown to be cerebellar-dependent. In all tasks, we observe that ccRNNs facilitates learning while reducing ataxia-like behaviours, consistent with classical experimental observations. Moreover, our model also explains recent behavioural and neuronal observations while making several testable predictions across multiple levels. Overall, our work offers a novel perspective on the cerebellum as a brain-wide decoupling machine for efficient credit assignment and opens a new avenue between deep learning and neuroscience.


翻译:大脑可以很好地解决信用分配问题。 要想在神经网络之间分配信用, 原则上, 他们必须等待特定的神经计算才能完成。 大脑如何处理这个内在的锁闭问题仍然不清楚。 深层次的学习方法在前方和反馈阶段都受到类似的锁闭限制。 最近, 引入了分解神经界面( DNIs), 作为对深层网络的前瞻性和反馈锁定问题的解决方案。 我们在这里建议, 一个专门的大脑区域, 即 cerebellum, 帮助大脑皮层 解决类似于DNI 的类似锁闭问题。 为了展示这个框架的潜力, 我们引入了一个系统级模型, 在一个经常性的皮层网络从一个耳脑模块获得在线时间反馈预测。 我们测试了这个螺旋- 神经界面连接( CDNN) 模式, 用来解决深层网络中的前方和反馈问题。 这里我们建议, 一个专门的大脑区域, 即小脑圈, 帮助开放区, 帮助大脑皮层 解决类似于DNIS的类似问题。 为了展示这个框架的潜力, 我们观察一个系统层次的模型, 我们观察中, 一个经常性的神经- breal- real- real- real- real- revisal imal imal imal exal laveal laveal laveal laveal laveal lax lax lax a lax laveal dr dr lax la la lax dr dr lax dr dr lax lax lax lax lax a lax a lax a lax a lax a lax a lax lax a lax lax a dr dr lax a lax dr dr dr dr dr dr dr dr dr dr dr dr dr dr lax labal labal dr dral dr dr dral labal labal lax a dr dr dral dr dral dr dr dr dr dr dr dr dr dr lax a lax a dr dr

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
76+阅读 · 2020年7月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【推荐】深度学习情感分析综述
机器学习研究会
58+阅读 · 2018年1月26日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
Arxiv
14+阅读 · 2021年6月27日
Arxiv
6+阅读 · 2019年3月19日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
4+阅读 · 2017年1月2日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【推荐】深度学习情感分析综述
机器学习研究会
58+阅读 · 2018年1月26日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
相关论文
Arxiv
14+阅读 · 2021年6月27日
Arxiv
6+阅读 · 2019年3月19日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
4+阅读 · 2017年1月2日
Top
微信扫码咨询专知VIP会员