VALSE Student Webinar 21-03期总第246期 Normalization: 操纵统计分布的隐形之手

2021 年 7 月 23 日 VALSE

报告时间	2021年07月28日 (星期三) 晚上20:00 (北京时间)
主题	Normalization: 操纵统计分布的隐形之手
主持人	黄雷 (北京航空航天大学)
直播地址	https://live.bilibili.com/22300737

报告嘉宾：Boyi Li (Cornell University)

报告题目：Learning to learn normalization

报告嘉宾：邵文琪 (The Chinese University of Hong Kong)

报告题目：Channel Equilibrium Network for Learning Deep Representation

报告嘉宾：高尚华 (南开大学)

报告题目：批归一化操作的特征误差与校准

Panel嘉宾：

Boyi Li (Cornell University)，邵文琪 (The Chinese University of Hong Kong)，高尚华 (南开大学)，龙明盛 (清华大学)，孙若愚 (伊利诺伊大学香槟分校)，张辉帅 (微软亚洲研究院)，黄雷 (北京航空航天大学)

Panel议题：

1. 网络中为什么要有normalization, 没有它会怎么样？为什么？

2. BN有理论吗？目前对BN有各种各样的理解，为什么会这么多不同的理解？这些理解是否有可能会被统一？

3. Normalization 的理论分析有用吗？这些理论是否能够有效指导实际应用，还是只是靠简单的调参？

4. 现在有各种各样的Normalization方法，为什么目前在视觉领域主要都还是在用BN？

5. 目前在不同的应用场景下出现了不同的normalization变种和用法，这里面是否有相应的使用准则？

6. 为什么目前在CNN中主要用BN，但在Transformer里面主要用LN，这里面到底有什么玄机？

*欢迎大家在下方留言提出主题相关问题，主持人和panel嘉宾会从中选择若干热度高的问题加入panel议题！

报告嘉宾：Boyi Li (Cornell University)

报告时间：2021年7月28日 (星期三)晚上20:00 (北京时间)

报告题目：Learning to learn normalization

报告人简介：

Boyi Li is a CS PhD student at Cornell University, advised by Prof. Serge Belongie and Prof. Kilian Q. Weinberger. Her interest spans in Machine Learning, Computer Vision and Multimedia Art. In Particular, she is interested in data-efficient machine learning for generative / recognition systems.

个人主页：

https://sites.google.com/site/boyilics/home

报告摘要：

Visual Representation has received a lot of attention from both academia and industry in recent years. This talk will briefly cover our previous research focusing on a new normalization method Positional Normalization, which could be applied to most generative models to help preserve or transfer structural information as well as a new data augmentation method based on normalization constants. We demonstrate its efficacy across several recognition benchmark data sets where it improves the generalization capability of highly competitive baseline networks with remarkable consistency.

参考文献：

[1] Li B, Wu F, Weinberger K Q, et al. Positional normalization[J]. arXiv preprint arXiv:1907.04312, 2019.

[2] Li B, Wu F, Lim S N, et al. On feature normalization and data augmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 12383-12392.

报告嘉宾：邵文琪 (The Chinese University of Hong Kong)

报告时间：2021年7月28日 (星期三)晚上20:20 (北京时间)

报告题目：Channel Equilibrium Network for Learning Deep Representation

报告人简介：

Wenqi Shao is a Ph.D. student supervised by Prof. Xiaogang Wang and Prof. Ping Luo at the Chinese University of Hong Kong. Before that, he received his B.E. in Mathematics from UESTC. His main research focuses on general deep learning and normalization method in deep architectures. During his Ph.D. study, He has published over 10 papers on top-tier conferences and journals CVPR/ICCV/ICML/ICLR/IJCV/etc. He is the co-organizer of the workshop of SDLCV (ICCV19 workshop on statistical learning on computer vision). He also serves as reviewers of CVPR 2020, 2021; ICLR 2020, 2021; NeurIPS 2019, 2020, 2021; ICCV 2021.

个人主页：

https://scholar.google.com/citations?user=Bs9mrwwAAAAJ&hl=en

报告摘要：

In the past years, normalization and whitening methods have been proved to improve the optimization of deep architectures and brought significant accuracy gain in many applications. Despite these remarkable breakthroughs, little is explored on how normalization methods are related to the issue of channel collapse. In this talk, we will explain how normalization leads to channel collapse issue, and how whitening technique can be used to tackle this issue. In particular, we will show that whitening the output of normalization can be connected with Nash Equilibrium. The resultant channel equilibrium block can greatly improve the generalization of various existing deep neural nets.

参考文献：

[1] Towards Understanding Regularization in Batch Normalization. Ping Luo, Xinjiang Wang, Wenqi Shao, Zhanglin Peng. ICLR 2019.

[2] Channel Equilibrium Networks for Learning Deep Representation. Wenqi Shao Shitao Tang Xingang Pan Ping Tan Xiaogang Wang Ping Luo. ICML 2020.

报告嘉宾：高尚华 (南开大学)

报告时间：2021年7月28日 (星期三)晚上20:40 (北京时间)

报告题目：批归一化操作的特征误差与校准

报告人简介：

高尚华，南开大学博士研究生，师从程明明教授。主要研究方向为神经网络结构设计，表征学习，以及场景分割等计算机视觉方向应用。先后在TPAMI，CVPR等期刊和会议发表10余篇相关领域的文章，论文Google学术引用900余次。相关研究工作在包括抗击新冠肺炎疫情等场景中得到广泛应用。曾获得CCF-CV学术新锐等奖项。

个人主页：

http://shgao.site/

报告摘要：

批归一化操作 (BatchNorm) 由于其出色的稳定训练能力，已成为神经网络中广泛使用的组件。BatchNorm的中心化和缩放操作分别利用统计均值和方差实现Batch维度上的特征标准化。BatchNorm的Batch依赖性在提升训练稳定性的同时不可避免地忽略实例之间的表征差异，进而在推理过程中导致一定的特征误差。本报告分析BatchNorm引入的特征误差，并介绍一种基于实例统计信息的简单高效的特征校准策略来减少该误差并增强网络的表征能力。报告展示该校准策略可以被集成到现有方法中以提高在分类、检测和分割等任务上的性能。

参考文献：

[1] Gao, Shang-Hua, Qi Han, Duo Li, Ming-Ming Cheng, and Pai Peng. "Representative batch normalization with feature calibration." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 8669-8679. 2021.

Panel嘉宾：龙明盛 (清华大学)

嘉宾简介：

龙明盛，清华大学软件学院副教授，国家优秀青年科学基金获得者，入选北京市科技新星。主要研究领域为机器学习理论与算法，专注于迁移学习、深度学习、科学学习及在人工智能和工业数据软件中的应用。以第一/通讯作者发表CCF-A类论文60余篇，谷歌引用超过12000次，两篇论文入选ICML/NIPS最具影响力论文。担任机器学习三大会议ICML/NIPS/ICLR领域主席。

个人主页：

http://ise.thss.tsinghua.edu.cn/~mlong/

Panel嘉宾：孙若愚 (伊利诺伊大学香槟分校 (UIUC)

嘉宾简介：

孙若愚是伊利诺伊大学香槟分校 (UIUC) 工业与系统工程系兼电子与计算机工程系的助理教授。在加入UIUC之前，曾任Facebook AI Research (FAIR) 访问科学家。斯坦福大学博士后，明尼苏达大学电子工程系博士，北京大学数学科学学院本科。他的研究兴趣是数学优化和机器学习，尤其是深度学习理论和算法、生成对抗网络、Adaptive gradient方法、分布式算法等等。他曾获得INFORMS乔治•尼科尔森学生论文竞赛第二名，以及INFORMS优化协会学生论文竞赛荣誉奖。担任ICLR, NeurIPS, ICML, AISTATS等机器学习会议的领域主席。

个人主页：

https://ruoyus.github.io/

Panel嘉宾：张辉帅 (微软亚洲研究院)

嘉宾简介：

张辉帅，微软亚洲研究院主管研究员，中国科学技术大学本科毕业，而后在Syracuse University获得博士学位。主要兴趣在于 (深度)机器学习理论和优化算法，隐私保护以及信息论研究。他曾在顶级期刊和会议上发表数十篇论文，也作为评审服务于NeurIPS/ICML/ICLR等会议以及IEEE transactions on Information theory / Signal Processing / Journal of Machine Learning Research / Machine Learning等期刊.

个人主页：

https://www.microsoft.com/en-us/research/people/huzhang/

主持人：黄雷 (北京航空航天大学)

主持人简介：

黄雷，北京航空航天大学人工智能研究院副教授，于2010年和2018年在北京航空航天大学计算机学院获得学士和博士学位。曾受国家留学基金委资助，于2015至2016年在密歇根大学安娜堡分校Vision & Learning实验室进行访问研究。其2018年博士毕业后，在阿联酋起源人工智能研究院担任研究科学家，并于2021年加入北京航空航天大学人工智能研究院。黄雷的研究主要集中在深度学习训练技术及其理论分析和在计算机视觉应用方面，尤其是针对深度学习中Normalization技术研究。其近五年在人工智能领域顶级会议和重要期刊上（如CVPR, ICCV, ICML, ECCV等）共发表论文二十余篇，并担任CVPR, ICCV, NeurIPS, ICML, JMLR和 IJCV 等顶级会议和期刊的审稿人，曾以一作身份获CVPR 2020最佳论文提名奖。

个人主页：

https://huangleibuaa.github.io/

Panel主持人: 张瑞茂 (香港中文大学深圳校区)

Panel主持人简介：

张瑞茂，香港中文大学 (深圳)数据科学学院的研究助理教授，副研究员。分别于2011年和2016年在中山大学数据科学与计算机学院获得学士与博士学位。2013年到2014年间以访问生的身份赴香港理工大学电子计算学系从事计算机视觉相关领域的研究。在2017年到2019年间，在香港中文大学多媒体实验室担任博士后研究员。后于2019年加入商汤科技研究院，任高级研究员至2021年2月。主要的研究领域为计算机视觉、深度学习以及智能多媒体技术。近几年在IEEE T-PAMI, CVPR, ICCV, ICML等计算机视觉、机器学习知名期刊和会议发表论文30余篇，其中包括一篇ESI高被引论文。同时近年来也在多个计算机视觉国际挑战赛中夺魁，如2017年Youtube-8M视频分类挑战赛金奖，2020年AIM图像信号处理挑战赛冠军等

个人主页：

http://www.zhangruimao.site/