神经网络需要输入数据的正确表示来学习。在这里,我们问基于梯度的学习如何塑造递归神经网络(RNNs)表示的基本属性——它们的维度。通过模拟和数学分析,我们展示了梯度下降如何导致RNN压缩其表示的维度,以匹配训练期间的任务要求,同时支持对未见示例的泛化。这可能需要在早期的时间步中扩展维度,在后期的时间步中压缩维度,而强混沌的RNN似乎特别擅长学习这种平衡。除了有助于阐明适当初始化的人工循环神经网络的力量外,这一事实对神经生物学也有影响。大脑中的神经回路显示了与混沌和低维动力学结构相关的高可变性。综上所述,我们的研究结果表明,简单的基于梯度的学习规则如何引导神经网络解决具有鲁棒表示的任务,从而泛化到新情况。

https://www.nature.com/articles/s42256-022-00498-0#citeas

成为VIP会员查看完整内容
7

相关内容

【CMU博士论文】课程学习,Curriculum Learning,193页pdf
专知会员服务
51+阅读 · 2022年8月13日
专知会员服务
15+阅读 · 2021年10月4日
首篇「课程学习(Curriculum Learning)」2021综述论文
专知会员服务
48+阅读 · 2021年1月31日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
专知会员服务
27+阅读 · 2020年10月24日
给GNN一堆数据,它自己发现了万有引力定律
图与推荐
0+阅读 · 2022年3月15日
用于强化学习的置换不变神经网络
TensorFlow
1+阅读 · 2021年12月28日
仅需几天,简约神经网络更快地发现物理定律
机器之心
0+阅读 · 2021年12月25日
基于 Keras 用 LSTM 网络做时间序列预测
R语言中文社区
21+阅读 · 2018年8月6日
深度学习循环神经网络详解
七月在线实验室
15+阅读 · 2018年5月28日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
67+阅读 · 2022年6月30日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
49+阅读 · 2020年12月16日
Arxiv
14+阅读 · 2020年10月26日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
19+阅读 · 2018年10月25日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Arxiv
67+阅读 · 2022年6月30日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
Arxiv
49+阅读 · 2020年12月16日
Arxiv
14+阅读 · 2020年10月26日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
19+阅读 · 2018年10月25日
微信扫码咨询专知VIP会员