深度学习理论基础：优化与泛化，南加州大学D. Lee助理教授报告（57页ppt）

【导读】探究深度学习的理论是当下研究热点。来自南加州大学Jason D. Lee助理教授分享关于深度学习理论理解的报告《Foundations of Deep Learning: SGD, Overparametrization, and Generalization》，共57页PPT，对深度学习的基本要素：优化与泛化做了探索研究，是非常好的参阅资料。

【深度学习基础PPT下载】

 请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“深度学习基础” 就可以获取《深度学习基础PPT》的下载链接~ 

作者介绍

Jason D. Lee是计算机科学系马歇尔商学院(Marshall School of Business)的数据科学与运筹学助理教授，也是机器学习中心(Machine Learning Center)的成员。之前，我是加州大学伯克利分校计算机科学系的博士后，和迈克尔·乔丹一起工作，也和本·雷希特合作过。在那之前，我是一名计算数学工程的博士生，由Trevor Hastie和Jonathan Taylor指导。我获得了杜克大学的数学学士学位。我是加州库比蒂诺人，上过林布鲁克高中。我的研究兴趣包括统计学(统计学习与高维统计)、机器学习、优化。

个人主页：

http://www-bcf.usc.edu/~lee715/index.html

深度学习基础：优化与泛化 

深度神经网络：ReLU

深度学习应用成功包括游戏、计算机视觉、自然语言处理中的任务

本次的报告目的是理论性理解深度学习中的优化和泛化

报告纲要：

• 挑战

• Saddlepoints and SGD

• 过度参数化的景观设计

• 算法/隐式正则化

理论挑战:两个主要障碍：优化与统计

学习=优化误差+统计误差

非凸问题

-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成！470+位同学在学习，现在报名，限时优惠！网易云课堂人工智能畅销榜首位！

请加专知小助手微信（扫一扫如下二维码添加），咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

点击“阅读原文”，了解报名专知《深度学习:算法到实战》课程