【CVPR2021教程】深度学习中的归一化技术:方法、分析和应用

归一化方法可以提高深度神经网络(DNN)的训练稳定性、优化效率和泛化能力，已成为目前最先进的DNN体系结构的基本组成部分。它们还成功地扩散到深度学习的各个领域，包括但不限于计算机视觉、自然语言处理和语音识别。然而，尽管归一化技术发挥了丰富和越来越重要的作用，我们注意到没有一个统一的视角来描述、比较和分析它们。此外，我们对这些方法成功的理论基础仍然难以理解。

本教程涵盖了标准化方法、分析和应用程序，并将解决以下问题: (1) DNN中不同规范化方法背后的主要动机是什么?我们如何提出一种分类法来理解各种方法之间的异同? (2) 如何缩小标准化技术的经验成功与我们对它们的理论理解之间的差距? (3) 针对不同任务设计/裁剪标准化技术的最新进展是什么?它们背后的主要见解是什么?

https://normalization-dnn.github.io