Dropout到底在干啥？看完这篇文章，你就知道了- 专知

Dropout到底在干啥？看完这篇文章，你就知道了

【导读】Dropout是非常常用的深度学习组件，一般用来做模型正则化或模型压缩，然而，Dropout到底是怎么做的？它有哪些变体？CNN和RNN中Dropout该怎么用？看完这篇文章，你就都知道了。

论文链接：

https://arxiv.org/pdf/1904.13310.pdf

论文题目：

Survey of Dropout Methods for Deep Neural Networks

深度神经网络是当代人工智能和信号处理领域的一个重要课题。它们的大量参数使得它们特别容易过度拟合，在实践中需要正则化方法。Dropout是2012年推出的一种避免过度拟合的技术，随后被应用于2012年的大尺度视觉识别挑战赛 (Large Scale Visual Recognition Challenge) ，该挑战赛彻底改变了深度学习研究。原方法在每次训练迭代中省略概率为0.5的神经网络中的每个神经元，在测试中包含所有神经元。该技术被证明可以显著提高在各种任务上的结果。

近年来，受原始dropout方法的启发而提出的各种随机技术得到了广泛的应用。我们通常使用术语dropout方法来指代它们。其中包括dropconnect、standout、fast dropout、变分dropout、Monte Carlo dropout等。上图展示了对随时间推移的辍学方法的研究。一般来说，dropout方法是在神经网络训练、推理或近似过程中随机修改参数。虽然最初用于避免过度拟合，但dropout方法已经扩展到各种应用程序中。

本篇文章将上述dropout方法进行了一一分析。