面试题：人工神经网络中为什么ReLu要好过于tanh和sigmoid？

为什么ReLu要好过于tanh和sigmoid？

解析：

先看sigmoid、tanh和RelU的函数图：

第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大。
反向传播求误差梯度时，求导涉及除法和指数运算，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。

第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失。），这种现象称为饱和，从而无法完成深层网络的训练。
而ReLU就不会有饱和倾向，不会有特别小的梯度出现。


第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。
当然现在也有一些对relu的改进，比如prelu，random relu等，在不同的数据集上会有一些训练速度上或者准确率上的改进，具体的大家可以找相关的paper看。

多加一句，现在主流的做法，会多做一步batch normalization，尽可能保证每一层网络的输入具有相同的分布[1]。
而最新的paper[2]，他们在加入bypass connection之后，发现改变batch normalization的位置会有更好的效果。大家有兴趣可以看下。

[1] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.
[2] He, Kaiming, et al. "Identity Mappings in Deep Residual Networks." arXiv preprint arXiv:1603.05027 (2016). 
本题解析来源：@Begin Again，
链接：https://www.zhihu.com/question/29021768

BAT大咖1V1教学!

名企面试官亲自辅导面试!

助你3个月拿到30万年薪！

让你“薪”满意足！

↓扫码查看课程详情↓

10分钟入门推荐系统，这份有实战、有代码的资料火了！

数学差，连机器学习都做不了吗？（文末送课送电影票！）

戳 “阅读原文”查看课程一起进步！

你在看吗？