ML规模化常常被低估。在多台机器上训练一个ML模型(最初是针对单个CPU/GPU实现的)到底需要什么?一些痛点是: (1) 需要编写许多新代码行来将代码转换为分布式版本; (2)需要大量调整代码以满足系统/统计性能,这是模型开发的附加过程; (3)决定使用哪些/多少硬件资源来训练和部署模型; (4) 从组织的角度出发,在许多用户和作业之间实现资源共享自动化,以满足用户的需求,同时使资源利用率最大化,成本最小化。

在本教程中,我们将介绍自动化分布式ML基础设施的改进技术。本教程涵盖了对ML并行化至关重要的三个领域: (1)对并行ML构建块进行编组和标准化; (2) ML并行表示和软件框架; (3)自动ML并行化的算法和系统,以及在共享集群上ML作业的资源分配。通过揭示ML程序的独特特征,并通过剖析成功案例来揭示如何利用它们,我们为ML研究人员和实践者提供了进一步塑造和发展SysML领域的机会。

听众应该熟悉ML和DL的基础知识。了解TensorFlow、PyTorch和分布式ML技术也有帮助,但不是必需的。

https://sites.google.com/view/aaai-2021-tutorial-ah9/home

成为VIP会员查看完整内容
47

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
「元学习」最新AAAI2021-Tutorial,附视频与240页ppt
专知会员服务
116+阅读 · 2021年2月7日
【AAAI2021 Tutorial】工业界负责任的人工智能,262页ppt
专知会员服务
115+阅读 · 2021年2月7日
【NeurIPS 2020 Tutorial】离线强化学习:从算法到挑战,80页ppt
最新《机器学习:基本原理》2021新书,209页pdf
专知会员服务
132+阅读 · 2020年10月24日
专知会员服务
108+阅读 · 2020年8月28日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
125+阅读 · 2020年7月20日
Python机器学习课程(代码与教程)
专知
35+阅读 · 2019年5月13日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
7+阅读 · 2019年5月3日
DLI 精选课程 | 用TensorRT 优化和部署TensorFlow模型
英伟达NVIDIA中国
6+阅读 · 2019年3月8日
利用Matlab实现深度学习【附45页PPT】
专知
7+阅读 · 2018年8月18日
教程 | PyTorch经验指南:技巧与陷阱
机器之心
15+阅读 · 2018年7月30日
手把手 | 关于商业部署机器学习,这有一篇详尽指南
机器学习必知的15大框架
互联网架构师
3+阅读 · 2017年12月21日
【课件分享】四天速成!香港科技大学 PyTorch 课件分享
深度学习世界
4+阅读 · 2017年10月9日
Self-Healing First-Order Distributed Optimization
Arxiv
0+阅读 · 2021年4月5日
Arxiv
0+阅读 · 2021年4月3日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
6+阅读 · 2018年3月12日
VIP会员
相关VIP内容
如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
「元学习」最新AAAI2021-Tutorial,附视频与240页ppt
专知会员服务
116+阅读 · 2021年2月7日
【AAAI2021 Tutorial】工业界负责任的人工智能,262页ppt
专知会员服务
115+阅读 · 2021年2月7日
【NeurIPS 2020 Tutorial】离线强化学习:从算法到挑战,80页ppt
最新《机器学习:基本原理》2021新书,209页pdf
专知会员服务
132+阅读 · 2020年10月24日
专知会员服务
108+阅读 · 2020年8月28日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
125+阅读 · 2020年7月20日
相关资讯
Python机器学习课程(代码与教程)
专知
35+阅读 · 2019年5月13日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
7+阅读 · 2019年5月3日
DLI 精选课程 | 用TensorRT 优化和部署TensorFlow模型
英伟达NVIDIA中国
6+阅读 · 2019年3月8日
利用Matlab实现深度学习【附45页PPT】
专知
7+阅读 · 2018年8月18日
教程 | PyTorch经验指南:技巧与陷阱
机器之心
15+阅读 · 2018年7月30日
手把手 | 关于商业部署机器学习,这有一篇详尽指南
机器学习必知的15大框架
互联网架构师
3+阅读 · 2017年12月21日
【课件分享】四天速成!香港科技大学 PyTorch 课件分享
深度学习世界
4+阅读 · 2017年10月9日
微信扫码咨询专知VIP会员