深度学习批归一化及其相关算法研究进展

2020 年 7 月 17 日 专知


摘要: 深度学习已经广泛应用到各个领域, 如计算机视觉和自然语言处理等, 并都取得了明显优于早期机器学习算法的效果. 在信息技术飞速发展的今天, 训练数据逐渐趋于大数据集, 深度神经网络不断趋于大型化, 导致训练越来越困难, 速度和精度都有待提升. 2013年, Ioffe等指出训练深度神经网络过程中存在一个严重问题: 中间协变量迁移(Internal covariate shift), 使网络训练过程对参数初值敏感、收敛速度变慢, 并提出了批归一化(Batch normalization, BN)方法, 以减少中间协变量迁移问题, 加快神经网络训练过程收敛速度. 目前很多网络都将BN作为一种加速网络训练的重要手段, 鉴于BN的应用价值, 本文系统综述了BN及其相关算法的研究进展. 首先对BN的原理进行了详细分析. BN虽然简单实用, 但也存在一些问题, 如依赖于小批量数据集的大小、训练和推理过程对数据处理方式不同等, 于是很多学者相继提出了BN的各种相关结构与算法, 本文对这些结构和算法的原理、优势和可以解决的主要问题进行了分析与归纳. 然后对BN在各个神经网络领域的应用方法进行了概括总结, 并且对其他常用于提升神经网络训练性能的手段进行了归纳. 最后进行了总结, 并对BN的未来研究方向进行了展望.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180564


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“批归一化” 可以获取《深度学习批归一化及其相关算法研究进展》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

专知会员服务
114+阅读 · 2020年8月22日
鲁棒模式识别研究进展
专知会员服务
40+阅读 · 2020年8月9日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
219+阅读 · 2020年8月1日
深度学习目标检测方法综述
专知会员服务
273+阅读 · 2020年8月1日
【文献综述】深度学习目标检测方法及其主流框架综述
专知会员服务
118+阅读 · 2020年6月26日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
基于深度学习的多标签生成研究进展
专知会员服务
141+阅读 · 2020年4月25日
专知会员服务
103+阅读 · 2020年3月12日
零样本图像分类综述 : 十年进展
专知会员服务
126+阅读 · 2019年11月16日
【中科院】命名实体识别技术综述
专知
16+阅读 · 2020年4月21日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
106页《深度CNN-目标检测》综述进展论文
专知
4+阅读 · 2018年9月30日
Arxiv
24+阅读 · 2020年3月11日
Image Segmentation Using Deep Learning: A Survey
Arxiv
44+阅读 · 2020年1月15日
Arxiv
3+阅读 · 2019年3月15日
Arxiv
18+阅读 · 2019年1月16日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
7+阅读 · 2018年3月22日
VIP会员
相关VIP内容
专知会员服务
114+阅读 · 2020年8月22日
鲁棒模式识别研究进展
专知会员服务
40+阅读 · 2020年8月9日
专知会员服务
78+阅读 · 2020年8月4日
专知会员服务
219+阅读 · 2020年8月1日
深度学习目标检测方法综述
专知会员服务
273+阅读 · 2020年8月1日
【文献综述】深度学习目标检测方法及其主流框架综述
专知会员服务
118+阅读 · 2020年6月26日
元学习(meta learning) 最新进展综述论文
专知会员服务
278+阅读 · 2020年5月8日
基于深度学习的多标签生成研究进展
专知会员服务
141+阅读 · 2020年4月25日
专知会员服务
103+阅读 · 2020年3月12日
零样本图像分类综述 : 十年进展
专知会员服务
126+阅读 · 2019年11月16日
相关论文
Arxiv
24+阅读 · 2020年3月11日
Image Segmentation Using Deep Learning: A Survey
Arxiv
44+阅读 · 2020年1月15日
Arxiv
3+阅读 · 2019年3月15日
Arxiv
18+阅读 · 2019年1月16日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
7+阅读 · 2018年3月22日
Top
微信扫码咨询专知VIP会员