归一化方法可以提高深度神经网络(DNN)的训练稳定性、优化效率和泛化能力,已成为目前最先进的DNN体系结构的基本组成部分。它们还成功地扩散到深度学习的各个领域,包括但不限于计算机视觉、自然语言处理和语音识别。然而,尽管归一化技术发挥了丰富和越来越重要的作用,我们注意到没有一个统一的视角来描述、比较和分析它们。此外,我们对这些方法成功的理论基础仍然难以理解。

本教程涵盖了标准化方法、分析和应用程序,并将解决以下问题: (1) DNN中不同规范化方法背后的主要动机是什么?我们如何提出一种分类法来理解各种方法之间的异同? (2) 如何缩小标准化技术的经验成功与我们对它们的理论理解之间的差距? (3) 针对不同任务设计/裁剪标准化技术的最新进展是什么?它们背后的主要见解是什么?

https://normalization-dnn.github.io

成为VIP会员查看完整内容
37

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2021】深度学习细粒度视觉分析
专知会员服务
35+阅读 · 2021年6月23日
专知会员服务
61+阅读 · 2021年3月12日
专知会员服务
58+阅读 · 2021年3月6日
专知会员服务
38+阅读 · 2020年10月13日
最新《深度学习人脸识别》综述论文,
专知会员服务
66+阅读 · 2020年8月10日
深度学习目标检测方法综述
专知会员服务
255+阅读 · 2020年8月1日
专知会员服务
153+阅读 · 2020年4月21日
专知会员服务
197+阅读 · 2020年3月6日
知识图谱中的深度学习技术应用概述
深度学习与NLP
11+阅读 · 2018年9月13日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
Arxiv
0+阅读 · 2021年8月17日
Arxiv
23+阅读 · 2021年3月4日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
相关VIP内容
【CVPR2021】深度学习细粒度视觉分析
专知会员服务
35+阅读 · 2021年6月23日
专知会员服务
61+阅读 · 2021年3月12日
专知会员服务
58+阅读 · 2021年3月6日
专知会员服务
38+阅读 · 2020年10月13日
最新《深度学习人脸识别》综述论文,
专知会员服务
66+阅读 · 2020年8月10日
深度学习目标检测方法综述
专知会员服务
255+阅读 · 2020年8月1日
专知会员服务
153+阅读 · 2020年4月21日
专知会员服务
197+阅读 · 2020年3月6日
微信扫码咨询专知VIP会员