普林斯顿ICML2018教程：深度学习理论理解的探索

【导读】近年来的深度神经网络研究进展往往都重方法而轻理论，但理论研究能够帮助我们更好地理解深度学习成功背后的真正原因，并有望为进一步的研究指明方向。近日，普林斯顿大学计算机科学教授 Sanjeev Arora 将在ICML2018上介绍在深度理论理解上的探索成果，现在77页PPT内容已经公布，让我们先睹为快。

机器学习ICML2018参会指南|一文了解详细日程和必看热点论文与Tutorial

在此次教程中我们回顾了近年来在深度学习理论发展方面的进展。很多现有工作尝试解决以下问题: 

( a )结构选择对优化、训练速度和表达能力的影响；

( b )量化网络的真实“容量”，从而理解为什么即使参数比训练数据多得多的网络也不会过拟合；

( c )理解深层生成模型的强大表示能力及其局限性，特别是针对(各种变体的)生成对抗性网络( GANs ) 

( d )理解简单RNN结构语言模型的特性及其一些解决方案(单词嵌入和句子嵌入)

虽然这些都是早期的一些结果，但它们有助于说明什么样的理论最终可能会出现在深度学习中崛起。

Sanjeev Arora 美国科学院院士，普林斯顿大学讲席教授，在概率可验证明和NP—难问题的可近似性方面取得了基础性的研究成果。他发起创办了“计算难解性问题中心”。Sanjeev Arora曾在2001年和2010年两次获得理论计算机领域最高荣誉奖哥德尔奖（Gdel Prize），在计算机领域的地位仅次于图灵奖。由欧洲计算机学会（EATCS）与美国计算机学会基础理论专业组织（ACMSIGACT）于1993年共同设立，颁给理论计算机领域最杰出的学术论文。他同时也是清华“姚班”兼职教授，并著有《计算复杂性：现代方法》

http://unsupervised.cs.princeton.edu/deeplearningtutorial.html

请关注专知公众号（扫一扫最下面专知二维码，或者点击上方蓝色专知），

• 后台回复“ICMLUDL” 就可以获取ICML2018报告深度学习理论理解 PPT下载链接~ 

附原文PPT：

-END-

专 · 知

人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG等）交流~

请关注专知公众号，获取人工智能的专业知识！

点击“阅读原文”，使用专知