直播 | 明天!北航博士生黄雷分享标准化技术在训练深度神经网络中的应用

2018 年 4 月 2 日 AI科技评论 连接学术产业的

分享背景


标准化技术目前已被广泛应用于各种深度神经网络的训练,如著名的批量标准化技术 (Batch Normalization, BN) 基本上是训练深度卷积网络的标准配置。装配有 BN 模块的神经网络模型通常比原始模型更容易训练,且通常表现出更好的泛化能力。 本次 GAIR 大讲堂报告人将阐述标准化技术应用于训练深度神经网络中的主要动机以及介绍一些主流的标准化技术,除此之外报告人也将讲解其沿着这个方向发表在 AAAI 2018 的论文《Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks》。


分享题目

标准化技术在训练深度神经网络中的应用


分享提纲


1. 标准化技术应用于深度神经网络训练的主要动机及相关方法介绍。

a)   标准化技术加速神经网络训练的主要动机

b)   主要的标准化方法介绍

2. 正交权重标准化技术:在通用的前向神经网络中学习正交过滤器组。

a)   在深度神经网络中学习正交过滤器组的主要动机

b)   基于重参数化方法求解多个依赖的Stiefel流形优化问题

c)   实验结果介绍

分享嘉宾


黄雷,北京航空航天大学计算机学院博士,曾于 2015 年 10 月至 2016 年 10 月在密歇根大学安娜堡分校 Vision & Learning 实验室做关于深度学习模型优化方面的研究。主要的研究领域为深度神经网络中标准化技术,半监督学习,非参主动学习及相关方法在计算机视觉和多媒体领域中的应用。目前已发表学术论文十余篇,包括 CVPR,ICCV 和 AAAI 等。


分享时间


北京时间 4 月 3 日(周二)晚上 8:00


参与方式


扫描海报二维码关注微信公众号,点击 AI 进阶——公开课报名

对了,我们招人了,了解一下?

限时拼团---计算机视觉基础班

从算法到实战应用,限时拼团,最后一周

已有 100+人参加了此拼团,最高每人优惠 200 元!

扫码立即参团~

┏(^0^)┛欢迎分享,明天见!

登录查看更多
1

相关内容

黄雷,北京航空航天大学人工智能研究院副教授,于2010年和2018年在北京航空航天大学计算机学院获得学士和博士学位,师从李未院士。曾受国家留学基金委资助,于2015至2016年在密歇根大学Jia Deng 课题组进行访问研究。其2018年博士毕业后,在阿联酋起源人工智能研究院任Research Scientist,并于2021年加入北京航空航天大学人工智能研究院。黄雷的研究主要集中在深度学习训练技术以及理论分析方面,并涵盖机器学习和计算机视觉多个领域。其近五年在人工智能领域顶级会议和重要期刊上(如CVPR, ICCV, ICML, ECCV和AAAI等)发表论文二十余篇,并多次担任CVPR, ICCV, NeurIPS, ICML, JMLR和 IJCV 等顶级会议和期刊的审稿人,曾以一作身份获CVPR 2020最佳论文提名奖。
明早10点大讲堂 | 训练深度脉冲神经网络
AI研习社
10+阅读 · 2019年1月24日
直播 | 大讲堂:基于小波变换的图卷积神经网络
AI科技评论
8+阅读 · 2019年1月3日
猿桌会 | 语音识别技术分享
AI研习社
5+阅读 · 2018年11月14日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
【回顾】深度学习在语音增强方向上的前沿研究
AI研习社
7+阅读 · 2017年11月20日
Arxiv
4+阅读 · 2019年9月26日
Single-frame Regularization for Temporally Stable CNNs
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
14+阅读 · 2018年12月6日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
4+阅读 · 2018年3月14日
VIP会员
相关VIP内容
相关论文
Top
微信扫码咨询专知VIP会员