推荐书目:Convex Optimization《凸优化》

推荐理由:机器学习,深度学习中我们寻找最优参数来得到模型,实际上就是用到了凸优化的理论。推荐原著,虽然看英文有困难,但目前凸优化的理论在各项最新论文中经常被引用,所以当你需要认真理解凸优化,引用凸优化时,这本书可以让你找到出处。这本书主要讲了三块,凸优化理论、应用和算法。

成为VIP会员查看完整内容
0
106

相关内容

这本书全面介绍优化工程系统设计的实用算法。这本书从工程的角度进行优化,其目标是设计一个系统来优化受约束的一组指标。读者将学习一系列挑战的计算方法,包括高维搜索空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。图表、例子和练习传达了数学方法背后的直觉。文本提供了Julia编程语言的具体实现。

https://mitpress.mit.edu/books/algorithms-optimization

许多学科的核心都涉及到优化。在物理学中,系统被驱动到他们的最低能量状态服从物理定律。在商业上,公司的目标是股东价值最大化。在生物学中,越健康的生物体越有可能生存下来。这本书将从工程的角度关注优化,目标是设计一个系统来优化受约束的一组指标。这个系统可以是一个复杂的物理系统,比如飞机,也可以是一个简单的结构,比如自行车车架。这个系统甚至可能不是物理的;例如,我们可能会有兴趣为自动化车辆设计一个控制系统,或设计一个计算机视觉系统来检测肿瘤活检的图像是否为癌。我们希望这些系统能运行得尽可能好。根据应用程序的不同,相关的度量可能包括效率、安全性和准确性。对设计的限制可能包括成本、重量和结构坚固性。

这本书是关于优化的算法,或计算过程。给定系统设计的一些表示,如编码机翼几何的一组数字,这些算法将告诉我们如何搜索空间的可能设计,以找到最好的一个。根据应用程序的不同,这种搜索可能涉及运行物理实验,比如风洞测试,也可能涉及计算解析表达式或运行计算机模拟。我们将讨论解决各种挑战的计算方法,例如如何搜索高维空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。

成为VIP会员查看完整内容
0
179

凸优化作为一个数学问题已经被研究了一个多世纪,并在许多应用领域的实践中应用了大约半个世纪,包括控制、金融、信号处理、数据挖掘和机器学习。本文主要研究凸优化的几个问题,以及机器学习的具体应用。

成为VIP会员查看完整内容
0
111

本文介绍了一阶优化方法及其在机器学习中的应用。这不是一门关于机器学习的课程(特别是它不涉及建模和统计方面的考虑),它侧重于使用和分析可以扩展到具有大量参数的大型数据集和模型的廉价方法。这些方法都是围绕“梯度下降”的概念而变化的,因此梯度的计算起着主要的作用。本课程包括最优化问题的基本理论性质(特别是凸分析和一阶微分学)、梯度下降法、随机梯度法、自动微分、浅层和深层网络。

成为VIP会员查看完整内容
0
111

内容介绍:

计算机科学正在发展,以利用新的硬件,如GPU、TPUs、CPU和大型的集群。许多子领域,如机器学习和优化,已经调整了它们的算法来处理这样的集群。

主题包括分布式和并行算法:优化、数值线性代数、机器学习、图形分析、流形算法,以及其他在集群中难以扩展的问题。该类将重点分析程序,并使用Apache Spark和TensorFlow实现一些程序。

本课程将分为两部分:首先,介绍并行算法的基础知识和在单多核机器上的运行时分析。其次,我们将介绍在集群机器上运行的分布式算法。

成为VIP会员查看完整内容
0
65

计算机科学正在发展,以利用新的硬件,如GPU、TPUs、CPU和大型商品集群。许多子领域,如机器学习和优化,已经调整了它们的算法来处理这样的集群。

课程主题包括分布式和并行算法: 优化、数值线性代数、机器学习、图分析、流式算法,以及其他在商用集群中难以扩展的问题。该类将重点分析程序,并使用Apache Spark和TensorFlow实现一些程序。

本课程将分为两部分: 首先,介绍并行算法的基础知识和在单多核机器上的运行时分析。其次,我们将介绍在集群机器上运行的分布式算法。

地址: http://stanford.edu/~rezab/dao/

主讲:

Reza Zadeh是斯坦福大学计算与数学工程学院的客座教授,同时也是Matroid公司的CEO。他的主要工作集中于机器学习理论与应用,分布式计算,以及离散数学。

http://stanford.edu/~rezab/

课程目录:

成为VIP会员查看完整内容
0
84

《Machine Learning Yearning》是吴恩达历时两年,根据自己多年实践经验整理出来的一本机器学习、深度学习实践经验宝典。 作为一本AI实战圣经,本书主要会你如何在实践中使机器学习算法的实战经验。

github链接:
https://github.com/yanshengjia/ml-road/blob/master/resources/机器学习训练秘籍.pdf

成为VIP会员查看完整内容
0
103
小贴士
相关主题
相关资讯
RL圣经出中文版了
CreateAMind
12+阅读 · 2019年9月13日
机器学习中的最优化算法总结
人工智能前沿讲习班
15+阅读 · 2019年3月22日
那些值得推荐和收藏的线性代数学习资源
博客 | 机器学习中的数学基础(凸优化)
AI研习社
11+阅读 · 2018年12月16日
机器学习圣经《模式识别与机器学习(PRML)-2018》pdf分享
深度学习与NLP
22+阅读 · 2018年12月2日
已删除
将门创投
10+阅读 · 2018年5月2日
第二章 机器学习中的数学基础
Datartisan数据工匠
9+阅读 · 2018年4月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
6+阅读 · 2017年11月19日
【基础数学】- 01
遇见数学
13+阅读 · 2017年7月25日
相关论文
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Tong Yu,Hong Zhu
12+阅读 · 2020年3月12日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
81+阅读 · 2019年12月19日
Kwonjoon Lee,Subhransu Maji,Avinash Ravichandran,Stefano Soatto
4+阅读 · 2019年4月23日
One-Shot Federated Learning
Neel Guha,Ameet Talwalkar,Virginia Smith
7+阅读 · 2019年3月5日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
10+阅读 · 2019年1月16日
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Perttu Hämäläinen,Amin Babadi,Xiaoxiao Ma,Jaakko Lehtinen
3+阅读 · 2018年12月18日
Neural Architecture Optimization
Renqian Luo,Fei Tian,Tao Qin,Enhong Chen,Tie-Yan Liu
7+阅读 · 2018年9月5日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Meta-Learning with Latent Embedding Optimization
Andrei A. Rusu,Dushyant Rao,Jakub Sygnowski,Oriol Vinyals,Razvan Pascanu,Simon Osindero,Raia Hadsell
6+阅读 · 2018年7月16日
Jonas Gehring,Michael Auli,David Grangier,Denis Yarats,Yann N. Dauphin
3+阅读 · 2017年7月25日
Top