训练深度学习模型，46页ppt

1. 正则化旨在通过对学习算法进行修改来减少模型的泛化误差。• 正则化正是解决深度学习中的过拟合和欠拟合问题的一个途径。• 正则化往往会增加模型的训练误差。

2. Dropout的大体思想就是，在标准神经网络进行前向传播时，让某些神经元的激活值以一定的概率 停止工作。由于这样做会减少模型对局部特征的依赖，使得模型泛化能力提升，从而缓解过拟合问 题。

3. 自适应学习率 指的是在训练过程中学习率可变，那么模型收敛速度会明显提升。三种常 用的自适应学习率算法：• Adagrad • RMSprop • Adam

4. 批标准化是一种简化计算并又能保证数据原始的表达能力的解决内协变量移位问题的方法