会员服务
在反向传播过程中需要对激活han函数进行求导，如果导数大于1，那么随着网络层数的增加梯度更新将会朝着指数爆炸的方式增加这就是梯度爆炸。同样如果导数小于1，那么随着网络层数的增加梯度更新信息会朝着指数衰减的方式减少这就是梯度消失。
没有数据了, 换个别的吧!
参考链接
父主题
反向传播
神经网络
微信扫码咨询专知VIP会员
Top