最近,深度学习在许多AI/ML任务中被证明非常成功,但对该技术的理论理解一直滞后。这次报告将调研正在进行的努力,以理解这种方法的成功,包括优化方面和巨大的网络在微小数据集上不过度拟合的神奇能力。

在过去的十年里,深度学习迅速占据了人工智能和机器学习的主导地位。尽管深度学习在很大程度上是一个“黑盒子”,但不可否认,其取得了显著的成功。当下,有一个小的分支学科正在发展起来,获得对深度学习潜在数学特性更好的理解。通过对深度学习在某些具体情况下的最新理论分析的回顾,我们说明了黑盒理论是如何忽略(甚至错误地理解)训练过程中发生的特殊现象的。这些现象也没有体现在训练目标函数中。我们认为,通过数学视角来理解这种现象对于未来的全面应用至关重要。

**演讲嘉宾:**Sanjeev Arora

**Sanjeev Arora是普林斯顿大学计算机科学Charles C. Fitzmorris教授。**他曾获得Packard Fellowship(1997)、Simons Investigator Award(2012)、Gödel Prize(2001和2010)、ACM Prize in Computing(2012)和Fulkerson Prize(2012)。他是NAAS Fellow和NAS成员。

成为VIP会员查看完整内容
66

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
90+阅读 · 2021年6月11日
非凸优化与统计学,89页ppt,普林斯顿Yuxin Chen博士
专知会员服务
100+阅读 · 2020年6月28日
普林斯顿大学经典书《在线凸优化导论》,178页pdf
专知会员服务
183+阅读 · 2020年2月3日
【NUS-Xavier教授】注意力神经网络,79页ppt
专知
3+阅读 · 2021年11月25日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年1月6日
Arxiv
0+阅读 · 2023年1月4日
Arxiv
30+阅读 · 2021年8月18日
Arxiv
87+阅读 · 2021年5月17日
Multi-Domain Multi-Task Rehearsal for Lifelong Learning
Arxiv
12+阅读 · 2020年12月14日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员