【MIT博士论文】优化理论与机器学习实践

2022 年 6 月 30 日 专知


机器学习是一种从数据中提取预测模型,从而能够将预测泛化到未观察数据的技术。根据已知数据集选择良好模型的过程需要进行优化。具体地说,优化过程在约束集中生成一个变量来最小化目标。这个过程包含了包括神经网络训练在内的许多机器学习管道,这将是我们在本文中进行理论分析的主要试验场。在各种优化算法中,梯度方法因其高维可扩展性和反向传播的自然局限性而成为深度学习中的主导算法。然而,尽管基于梯度的算法很受欢迎,但我们从理论的角度对机器学习环境中的这种算法的理解似乎还远远不够。一方面,在现有的理论框架内,大多数上下界是封闭的,理论问题似乎得到了解决。另一方面,理论分析很难产生比实践者发现的经验更快的算法。本文回顾了梯度法的理论分析,指出了理论与实践的差异。然后,我们解释了为什么会发生不匹配,并通过发展由经验观察驱动的理论分析,提出了一些初始解决方案。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“OTML” 就可以获取【MIT博士论文】优化理论与机器学习实践》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
2

相关内容

【MIT博士论文】《图、主子式、特征值问题》200页PDF
专知会员服务
28+阅读 · 2022年8月7日
【MIT博士论文】分子图表示学习与生成的药物发现
专知会员服务
47+阅读 · 2022年6月28日
【斯坦福经典书】机器学习导论,188页pdf
专知会员服务
77+阅读 · 2021年3月31日
专知会员服务
41+阅读 · 2020年9月25日
神经网络的基础数学,95页pdf
专知
21+阅读 · 2022年1月23日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
8+阅读 · 2022年1月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年9月13日
Arxiv
0+阅读 · 2022年9月12日
Arxiv
0+阅读 · 2022年9月8日
Arxiv
38+阅读 · 2020年12月2日
Arxiv
10+阅读 · 2020年11月26日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员