本文约2182字,建议阅读4分钟
本文介绍
了1月
5日晚7:30CIKM2021 Best Short Paper获得者毛海涛带来的主题分享:《基于信息瓶颈理论的神经元竞争初始化策略》
1月5日晚 7:30-8:30
AI TIME 特别邀请CIKM2021 Best Short Paper获得者——毛海涛,给大家带来分享:《基于信息瓶颈理论的神经元竞争初始化策略》
毛海涛:
电子科技大学信息与软件工程学院四年级本科生。主要研究兴趣为:神经网络基础研究,自适应图神经网络,金融知识图谱
本篇工作为毛海涛于微软亚洲研究院实习期间由研究员杜仑,首席研究员付强共同指导完成,并荣获CIKM2021 Best Short Paper。
个人主页:ME - 悫躍 (huanhuqueyue.github.io)
报告简介:
神经网络初始化作为神经网络中训练不可或缺的一环,对神经网络优化过程有着重要的影响。先前的工作更多关注如何避免训练中出现梯度消失、梯度爆炸等现象,却很少关注怎样的初始化能加快神经网络的收敛速度,提高神经网络的泛化性能。我们从信息瓶颈理论出发,为神经网络初始化提供一种新视角,并设计出一套通用的基于神经元竞争的初始化策略。
论文博客: https://zhuanlan.zhihu.com/p/398198523
直播结束后大家可以在群内进行提问,请添加“AI TIME小助手(微信号:AITIME_HY)”,回复“PhD-3”,将拉您进“AI TIME PhD 交流群-3”!
合作伙伴:智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动