鄂维南院士:迈向机器学习的数学理论,66页ppt,附视频

2022 年 9 月 1 日 专知

给定一个机器学习模型,在近似、估计和优化误差的收敛速度不会随着维数的增加而恶化的意义上,什么样的函数可以用这个特定的模型有效地逼近?我们针对三类机器学习模型解决这个问题:随机特征模型,两层神经网络和残差神经网络模型。在此过程中,我们还将总结深度学习理论基础的现状,并讨论一些关键的开放性问题。


鄂维南,中国科学院院士,北京大数据研究院院长、北京科学智能研究院(AI for Science Institute,Beijing)院长,北京大学国际机器学习研究中心主任,美国数学学会、美国工业与应用数学学会 Fellow。研究领域为应用数学。多次受邀在数学、应用数学、物理、化学、力学等领域的国际顶会上发表报告。2003 年获国际工业与应用数学协会 Collatz 奖。2009 年获美国工业与应用数学学会 Kleinman 奖。2014 年获美国工业与应用数学学会 Theodore von Karman 奖。2019 年获得美国工业与应用数学学会和 ETH 共同颁发的 Henrici奖。2020 年获 ACM Gordon Bell 奖。



本演讲回顾了基于神经网络的机器学习数学理论领域的现状。他工作的中心主题是对高维函数的理解。他一开始就说,“机器学习是解决一些标准的数学问题,但是在非常高的维度上”。在数学的这个背景下,人们可以认为监督学习是使用有限的训练集逼近目标函数。使用图像分类的例子,我们感兴趣的函数是将每个图像映射到其类别的函数。我们知道函数在有限样本上的值(标签),目标是找到函数的精确逼近。


再举一个例子,在数学术语中,无监督学习是一个使用有限样本逼近潜在概率分布的问题。无监督学习的一个典型问题是生成不存在的数据,比如生成假人脸。虽然概率分布还不清楚,但我们确实有有限的真实人脸样本。用这个有限的样本,我们可以近似未知的概率分布,并产生新的样本。在其他机器学习方法中,强化学习是关于求解相关马尔可夫决策过程的Bellman方程,而时间序列学习则是关于逼近动态系统。


多年来,计算数学家一直在解决这类问题。唯一的区别是维度。以CIFAR-10问题为例,我们感兴趣的函数是将每个图像映射到其类别的函数。每个图像是32 x 32像素,有三个颜色维度,所以这个问题的整体维度是3072。这给经典的近似理论带来了一个问题(人们通常会在网格上使用分段线性函数逼近一个函数),因为随着问题的维数增长,计算成本呈指数增长。这对于所有用多项式近似函数的经典算法都是正确的。神经网络可以更有效地解决这类问题。


在他的演讲中重点讨论了一些关于基于神经网络算法的不同方面的证明,包括监督学习中的错误,随机特征模型,两层网络的近似理论,基于梯度的训练,以及在无监督学习中近似概率分布


他总结说,虽然还有很多事情需要理解,但在高维近似理论和训练后期阶段的全局最小选择都有一个合理的视角。他强调,这项工作不仅仅是证明定理——还需要其他方法,比如仔细设计数值实验和渐近分析。


视频:


https://slideslive.com/embed/presentation/38988071?embed_parent_url=https%3A%2F%2Ficml.cc%2Fvirtual%2F2022%2Finvited-talk%2F18430&embed_container_origin=https%3A%2F%2Ficml.cc&embed_container_id=presentation-embed-38988071&auto_load=true&auto_play=false&zoom_ratio=&disable_fullscreen=false&locale=zh&vertical_enabled=true&vertical_enabled_on_mobile=false&allow_hidden_controls_when_paused=true&fit_to_viewport=true&user_uuid=a395fe83-98b9-47fa-b7ca-9e11cd956071



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MTML” 就可以获取鄂维南院士:迈向机器学习的数学理论,66页ppt,附视频》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
3

相关内容

《机器学习的最优传输》教程,63页PPT
专知会员服务
61+阅读 · 2022年4月30日
最新《深度卷积神经网络理论》报告,35页ppt
专知会员服务
45+阅读 · 2020年11月30日
【普林斯顿】持续视角下的机器学习,31页ppt及视频
专知会员服务
23+阅读 · 2020年8月19日
【ICML2020Tutorial】机器学习信号处理,100页ppt
专知会员服务
109+阅读 · 2020年8月15日
吴恩达:机器学习的六个核心算法
THU数据派
0+阅读 · 2022年8月5日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
图卷积网络介绍及进展【附PPT与视频资料】
人工智能前沿讲习班
24+阅读 · 2019年1月3日
【干货】监督学习与无监督学习简介
专知
13+阅读 · 2018年4月4日
贝叶斯机器学习前沿进展
架构文摘
12+阅读 · 2018年2月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年7月12日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2022年11月21日
Arxiv
20+阅读 · 2021年12月19日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
12+阅读 · 2018年1月20日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年7月12日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员