如何解决梯度消失和梯度膨胀

●

今日面试题分享

●

如何解决梯度消失和梯度膨胀

解析：

（1）梯度消失：

根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0

可以采用ReLU激活函数有效的解决梯度消失的情况，也可以用Batch Normalization解决这个问题。

关于深度学习中 Batch Normalization为什么效果好？参见：https://www.zhihu.com/question/38102762

（2）梯度膨胀：

根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话，在经过足够多层传播之后，误差对输入层的偏导会趋于无穷大

可以通过激活函数来解决，或用Batch Normalization解决这个问题。

题目来源：七月在线官网（www.julyedu.com）——面试题库——面试大题——深度学习

END

●人工智能人才争抢白热化？学好数学才能C位出道！

●哪些机器学习算法不需要做归一化处理？

●一文详解：什么是B树？

●备战AI求职季 | 100道机器学习面试题（上）

●34个最优秀好用的Python开源框架

●【实战分享】电影推荐系统项目实战应用

●Python打牢基础，从19个语法开始！

●一文让你通俗理解奇异值分解

●CVPR 2019：中科院、牛津等提出SiamMask网络，视频跟踪最高精度

扫描下方二维码  关注：七月在线实验室 

后台回复：100   免费领取【机器学习面试100题】PDF版一份

▼更多精彩推荐，请关注我们▼

把时间交给学习

戳“阅读原文”我们一起进步

在看点一下