成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
梯度消失
关注
80
在机器学习中,使用基于梯度的学习方法和反向传播训练人工神经网络时,会遇到梯度消失的问题。在这种方法中,每个神经网络的权值在每次迭代训练时都得到一个与误差函数对当前权值的偏导数成比例的更新。问题是,在某些情况下,梯度会极小,有效地阻止权值的改变。在最坏的情况下,这可能会完全阻止神经网络进一步的训练。作为问题原因的一个例子,传统的激活函数,如双曲正切函数的梯度在范围(0,1),而反向传播通过链式法则计算梯度。这样做的效果是将n个这些小数字相乘来计算n层网络中“前端”层的梯度,这意味着梯度(误差信号)随着n的增加呈指数递减,而前端层的训练非常缓慢。
综合
百科
VIP
热门
动态
论文
精华
Noise-Induced Barren Plateaus in Variational Quantum Algorithms
Arxiv
0+阅读 · 3月2日
Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks
Arxiv
0+阅读 · 1月9日
Review of AlexNet for Medical Image Classification
Arxiv
0+阅读 · 2023年12月22日
Review of AlexNet for Medical Image Classification
Arxiv
0+阅读 · 2023年11月15日
Enhancing Generalization of Universal Adversarial Perturbation through Gradient Aggregation
Arxiv
0+阅读 · 2023年8月11日
HumanDiffusion: diffusion model using perceptual gradients
Arxiv
0+阅读 · 2023年6月21日
On Compositionality and Improved Training of NADO
Arxiv
0+阅读 · 2023年6月20日
Resampling Gradients Vanish in Differentiable Sequential Monte Carlo Samplers
Arxiv
0+阅读 · 2023年4月27日
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks
Arxiv
0+阅读 · 2023年4月19日
Selectively Hard Negative Mining for Alleviating Gradient Vanishing in Image-Text Matching
Arxiv
0+阅读 · 2023年3月1日
Single-level Adversarial Data Synthesis based on Neural Tangent Kernels
Arxiv
0+阅读 · 2022年10月18日
Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks
Arxiv
0+阅读 · 2022年10月12日
Fast Saturating Gate for Learning Long Time Scales with Recurrent Neural Networks
Arxiv
0+阅读 · 2022年10月4日
Single-level Adversarial Data Synthesis based on Neural Tangent Kernels
Arxiv
0+阅读 · 2022年9月1日
SkipNode: On Alleviating Over-smoothing for Deep Graph Convolutional Networks
Arxiv
0+阅读 · 2022年6月28日
参考链接
父主题
机器学习
数据挖掘
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top