In this paper, we analyze the landscape of the true loss of a ReLU neural network with one hidden layer. We provide a complete classification of the critical points in the case where the target function is affine. In particular, we prove that local minima and saddle points have to be of a special form and show that there are no local maxima. Our approach is of a combinatorial nature and builds on a careful analysis of the different types of hidden neurons that can occur in a ReLU neural network.


翻译:在本文中,我们分析一个隐蔽层的ReLU神经网络真正丧失的景象。 我们提供目标功能为直线的临界点的完整分类。 特别是, 我们证明当地微型和马鞍点必须具有特殊的形式, 并表明当地没有最高标准。 我们的方法是一种组合性的方法,并且建立在对ReLU神经网络中可能发生的不同类型隐藏神经元的仔细分析的基础上。

0
下载
关闭预览

相关内容

Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Linguistically Regularized LSTMs for Sentiment Classification
黑龙江大学自然语言处理实验室
8+阅读 · 2018年5月4日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
A Mathematical Definition of Particle Methods
Arxiv
0+阅读 · 2021年5月12日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Linguistically Regularized LSTMs for Sentiment Classification
黑龙江大学自然语言处理实验室
8+阅读 · 2018年5月4日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员