残差网络(ResNets)在模式识别方面显示了令人印象深刻的结果,最近,由于与神经常微分方程(neural ODEs)的感知联系,获得了相当大的理论兴趣。随着层数的增加,这条链路依赖于网络权值的收敛到平滑的函数。我们通过详细的数值实验研究了随机梯度下降训练权值的性质,以及它们随网络深度的变换。我们观察到有明显不同于神经ODE文献中假设的标度区存在。根据网络结构的某些特征,如激活函数的光滑性,人们可以得到另一个ODE极限,一个随机微分方程或两者都不能。这些发现对神经ODE模型作为深度ResNets的充分渐近描述的有效性提出了质疑,并指出了另一类微分方程作为深度网络极限的更好描述。

https://www.zhuanzhi.ai/paper/74bb9f3249e109282560f46658d244eb

成为VIP会员查看完整内容
19

相关内容

专知会员服务
30+阅读 · 2021年7月19日
专知会员服务
36+阅读 · 2021年7月17日
专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
11+阅读 · 2021年7月4日
专知会员服务
11+阅读 · 2021年5月26日
专知会员服务
81+阅读 · 2021年5月10日
专知会员服务
28+阅读 · 2020年8月8日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
图神经网络架构,稳定性,可迁移性
专知
5+阅读 · 2020年8月8日
互信息及其在图表示学习的应用
AINLP
3+阅读 · 2020年6月21日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
注意力能提高模型可解释性?实验表明:并没有
黑龙江大学自然语言处理实验室
11+阅读 · 2019年4月16日
综述:DenseNet—Dense卷积网络(图像分类)
专知
85+阅读 · 2018年11月26日
变种神经网络的典型代表:深度残差网络
机器学习研究会
9+阅读 · 2017年10月20日
深度判别和共享特征学习的图像分类
计算机视觉战队
6+阅读 · 2017年9月27日
Arxiv
7+阅读 · 2021年5月13日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
VIP会员
相关VIP内容
专知会员服务
30+阅读 · 2021年7月19日
专知会员服务
36+阅读 · 2021年7月17日
专知会员服务
26+阅读 · 2021年7月11日
专知会员服务
11+阅读 · 2021年7月4日
专知会员服务
11+阅读 · 2021年5月26日
专知会员服务
81+阅读 · 2021年5月10日
专知会员服务
28+阅读 · 2020年8月8日
相关资讯
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
图神经网络架构,稳定性,可迁移性
专知
5+阅读 · 2020年8月8日
互信息及其在图表示学习的应用
AINLP
3+阅读 · 2020年6月21日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
注意力能提高模型可解释性?实验表明:并没有
黑龙江大学自然语言处理实验室
11+阅读 · 2019年4月16日
综述:DenseNet—Dense卷积网络(图像分类)
专知
85+阅读 · 2018年11月26日
变种神经网络的典型代表:深度残差网络
机器学习研究会
9+阅读 · 2017年10月20日
深度判别和共享特征学习的图像分类
计算机视觉战队
6+阅读 · 2017年9月27日
微信扫码咨询专知VIP会员