会员服务
误差梯度是神经网络训练过程中计算的方向和数量，用于以正确的方向和合适的量更新网络权重。 在深层网络或循环神经网络中，误差梯度可在更新中累积，变成非常大的梯度，然后导致网络权重的大幅更新，并因此使网络变得不稳定。在极端情况下，权重的值变得非常大，以至于溢出，导致NaN值。网络层之间的梯度（值大于 1.0）重复相乘导致的指数级增长会产生梯度爆炸。
彻底解决梯度爆炸问题，新方法不用反向传播也能训练ResNet
彻底解决梯度爆炸问题，新方法不用反向传播也能训练ResNet
机器之心
0+阅读 · 2019年8月16日
从ReLU到GELU，一文概览神经网络的激活函数
从ReLU到GELU，一文概览神经网络的激活函数
PaperWeekly
0+阅读 · 2019年12月21日
吴恩达深度学习课最新补充教程：交互式demo助你轻松理解神经网络初始化
吴恩达深度学习课最新补充教程：交互式demo助你轻松理解神经网络初始化
机器之心
0+阅读 · 2019年5月27日
深度学习机器学习面试问题准备（必会）
深度学习机器学习面试问题准备（必会）
数据挖掘入门与实战
0+阅读 · 2018年4月27日
【干货】深度学习最佳实践之权重初始化
【干货】深度学习最佳实践之权重初始化
专知
2+阅读 · 2018年4月12日
BAT题库 | 机器学习面试1000题系列（第131~135题）
BAT题库 | 机器学习面试1000题系列（第131~135题）
七月在线实验室
0+阅读 · 2017年10月27日
入门 | 一文了解神经网络中的梯度爆炸
入门 | 一文了解神经网络中的梯度爆炸
机器之心
8+阅读 · 2017年12月22日
一文读懂神经网络初始化！吴恩达Deeplearning.ai最新干货
一文读懂神经网络初始化！吴恩达Deeplearning.ai最新干货
数据派THU
2+阅读 · 2019年5月19日
堪比Focal Loss！解决目标检测中样本不平衡的无采样方法
堪比Focal Loss！解决目标检测中样本不平衡的无采样方法
极市平台
12+阅读 · 2020年1月2日
BAT机器学习面试题101~105（文末有福利）
BAT机器学习面试题101~105（文末有福利）
七月在线实验室
2+阅读 · 2017年10月19日
深度解析LSTM神经网络的设计原理
深度解析LSTM神经网络的设计原理
数盟
4+阅读 · 2018年6月22日
也来谈谈RNN的梯度消失/爆炸问题
也来谈谈RNN的梯度消失/爆炸问题
PaperWeekly
1+阅读 · 2020年11月30日
神经网络中的权重初始化一览：从基础到Kaiming
神经网络中的权重初始化一览：从基础到Kaiming
大数据文摘
12+阅读 · 2019年4月18日
人脑是怎么防止梯度消失和梯度爆炸的?
人脑是怎么防止梯度消失和梯度爆炸的?
极市平台
2+阅读 · 2020年10月25日
这篇论文让你无惧梯度消失或爆炸，轻松训练一万层神经网络
这篇论文让你无惧梯度消失或爆炸，轻松训练一万层神经网络
机器之心
1+阅读 · 2020年3月23日
参考链接
微信扫码咨询专知VIP会员
Top