These are the notes for the lectures that I was giving during Fall 2020 at the Moscow Institute of Physics and Technology (MIPT) and at the Yandex School of Data Analysis (YSDA). The notes cover some aspects of initialization, loss landscape, generalization, and a neural tangent kernel theory. While many other topics (e.g. expressivity, a mean-field theory, a double descent phenomenon) are missing in the current version, we plan to add them in future revisions.


翻译:这些笔记是我在莫斯科物理与技术研究所(MIPT)和Yandex数据分析学院(YSDA)2020年秋天期间在莫斯科物理与技术研究所(MIPT)和Yandex数据分析学院(YSDA)举办的讲座的笔记。 这些笔记涵盖了初始化、损失地貌、概括化和神经相近内核理论的某些方面。 虽然目前版本中缺少许多其他主题(如表达性、平均场理论、双血缘现象 ), 我们计划在未来的修改中加入它们。

7
下载
关闭预览

相关内容

Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
104+阅读 · 2020年5月15日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
142+阅读 · 2019年10月27日
深度学习界圣经“花书”《Deep Learning》中文版来了
专知会员服务
229+阅读 · 2019年10月26日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
笔记 | 吴恩达Coursera Deep Learning学习笔记
AI100
4+阅读 · 2017年9月27日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
3D Deep Learning on Medical Images: A Review
Arxiv
11+阅读 · 2020年4月1日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
25+阅读 · 2018年8月19日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
VIP会员
相关VIP内容
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
104+阅读 · 2020年5月15日
MIT-深度学习Deep Learning State of the Art in 2020,87页ppt
专知会员服务
61+阅读 · 2020年2月17日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
142+阅读 · 2019年10月27日
深度学习界圣经“花书”《Deep Learning》中文版来了
专知会员服务
229+阅读 · 2019年10月26日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
笔记 | 吴恩达Coursera Deep Learning学习笔记
AI100
4+阅读 · 2017年9月27日
【推荐】TensorFlow手把手CNN实践指南
机器学习研究会
5+阅读 · 2017年8月17日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
3D Deep Learning on Medical Images: A Review
Arxiv
11+阅读 · 2020年4月1日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
18+阅读 · 2019年1月16日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
25+阅读 · 2018年8月19日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Top
微信扫码咨询专知VIP会员