成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
梯度爆炸
关注
1
误差梯度是神经网络训练过程中计算的方向和数量，用于以正确的方向和合适的量更新网络权重。 在深层网络或循环神经网络中，误差梯度可在更新中累积，变成非常大的梯度，然后导致网络权重的大幅更新，并因此使网络变得不稳定。在极端情况下，权重的值变得非常大，以至于溢出，导致NaN值。网络层之间的梯度（值大于 1.0）重复相乘导致的指数级增长会产生梯度爆炸。
综合
百科
VIP
热门
动态
论文
精华
在做算法工程师的道路上，你掌握了什么概念或技术使你感觉自我提升突飞猛进？
极市平台
0+阅读 · 2022年3月7日
也来谈谈RNN的梯度消失/爆炸问题
PaperWeekly
1+阅读 · 2020年11月30日
人脑是怎么防止梯度消失和梯度爆炸的?
极市平台
2+阅读 · 2020年10月25日
梯度消失和梯度爆炸问题的最完整解析
极市平台
1+阅读 · 2020年10月20日
微博推荐算法实践与机器学习平台演进
DataFunTalk
2+阅读 · 2020年8月20日
这篇论文让你无惧梯度消失或爆炸，轻松训练一万层神经网络
机器之心
1+阅读 · 2020年3月23日
堪比Focal Loss！解决目标检测中样本不平衡的无采样方法
极市平台
12+阅读 · 2020年1月2日
从ReLU到GELU，一文概览神经网络的激活函数
PaperWeekly
0+阅读 · 2019年12月21日
一文概览神经网络的激活函数：从ReLU到GELU
CVer
1+阅读 · 2019年12月20日
从ReLU到GELU，一文概览神经网络的激活函数
机器之心
1+阅读 · 2019年12月20日
堪比Focal Loss！解决目标检测中样本不平衡的无采样方法
CVer
2+阅读 · 2019年11月27日
HSIC简介：一个有意思的判断相关性的思路
PaperWeekly
4+阅读 · 2019年9月25日
面经 | 搜狗算法面经
CVer
2+阅读 · 2019年8月25日
彻底解决梯度爆炸问题，新方法不用反向传播也能训练ResNet
CVer
0+阅读 · 2019年8月16日
彻底解决梯度爆炸问题，新方法不用反向传播也能训练ResNet
机器之心
0+阅读 · 2019年8月16日
参考链接
提示
微信扫码
咨询专知VIP会员与技术项目合作
（加微信请备注: "专知"）
微信扫码咨询专知VIP会员
Top
微信扫码咨询专知VIP会员