会员服务
在机器学习中，使用基于梯度的学习方法和反向传播训练人工神经网络时，会遇到梯度消失的问题。在这种方法中，每个神经网络的权值在每次迭代训练时都得到一个与误差函数对当前权值的偏导数成比例的更新。问题是，在某些情况下，梯度会极小，有效地阻止权值的改变。在最坏的情况下，这可能会完全阻止神经网络进一步的训练。作为问题原因的一个例子，传统的激活函数，如双曲正切函数的梯度在范围(0,1)，而反向传播通过链式法则计算梯度。这样做的效果是将n个这些小数字相乘来计算n层网络中“前端”层的梯度，这意味着梯度(误差信号)随着n的增加呈指数递减，而前端层的训练非常缓慢。
干货 | 深度详解ResNet及其六大变体
干货 | 深度详解ResNet及其六大变体
AI100
8+阅读 · 2017年8月8日
[Machine Learning] 深度学习中消失的梯度
[Machine Learning] 深度学习中消失的梯度
全球人工智能
0+阅读 · 2017年12月6日
深度学习优化算法入门：三、梯度消失和激活函数
深度学习优化算法入门：三、梯度消失和激活函数
论智
5+阅读 · 2018年10月12日
从ReLU到GELU，一文概览神经网络的激活函数
从ReLU到GELU，一文概览神经网络的激活函数
PaperWeekly
0+阅读 · 2019年12月21日
深度学习中训练参数的调节技巧
深度学习中训练参数的调节技巧
数据挖掘入门与实战
2+阅读 · 2018年2月8日
深度学习机器学习面试问题准备（必会）
深度学习机器学习面试问题准备（必会）
数据挖掘入门与实战
0+阅读 · 2018年4月27日
训练深度神经网络失败的罪魁祸首不是梯度消失，而是退化
训练深度神经网络失败的罪魁祸首不是梯度消失，而是退化
机器之心
4+阅读 · 2018年1月7日
ICCV19开源论文 DeepGCNs: Can GCNs Go as Deep as CNNs?
ICCV19开源论文 DeepGCNs: Can GCNs Go as Deep as CNNs?
图与推荐
0+阅读 · 2020年5月7日
【干货】深度学习最佳实践之权重初始化
【干货】深度学习最佳实践之权重初始化
专知
2+阅读 · 2018年4月12日
BiGAN-QP：简单清晰的编码 & 生成模型
BiGAN-QP：简单清晰的编码 & 生成模型
PaperWeekly
0+阅读 · 2018年12月11日
BAT题库 | 机器学习面试1000题系列（第131~135题）
BAT题库 | 机器学习面试1000题系列（第131~135题）
七月在线实验室
0+阅读 · 2017年10月27日
Highway Networks For Sentence Classification
Highway Networks For Sentence Classification
哈工大SCIR
4+阅读 · 2017年9月30日
当神经网络遇上量子计算：谷歌证明量子神经网络可训练图像分类
当神经网络遇上量子计算：谷歌证明量子神经网络可训练图像分类
量子位
1+阅读 · 2018年12月23日
不仅搞定「梯度消失」，还让CNN更具泛化性：港科大开源深度神经网络训练新方法
不仅搞定「梯度消失」，还让CNN更具泛化性：港科大开源深度神经网络训练新方法
新智元
0+阅读 · 2020年5月26日
一文读懂神经网络初始化！吴恩达Deeplearning.ai最新干货
一文读懂神经网络初始化！吴恩达Deeplearning.ai最新干货
数据派THU
2+阅读 · 2019年5月19日
参考链接
父主题
机器学习
数据挖掘
微信扫码咨询专知VIP会员
Top