在现代人工智能中,大规模深度学习模型已经成为许多重要互联网业务背后的核心技术,如搜索/广告/推荐系统/CV/NLP。BERT、Vision Transformer、GPT-3和Switch Transformer模型将模型规模扩大到10亿甚至数万个参数,几乎所有学习任务的准确性都得到了显著提高。使用云集群的分布式训练是及时成功地训练此类大规模模型的关键。开发更先进的分布式训练系统和算法既可以降低能源成本,也可以让我们训练更大的模型。此外,开发像联邦学习这样的颠覆性学习模式也至关重要,它不仅可以保护用户的隐私,还可以分担处理前所未有的大数据和模型的负载。这次演讲将主要关注大规模模型的分布式ML系统:云集群的动态分布式训练(https://DistML.ai)和边缘设备的大规模联合学习(https://FedML.ai)。在第一部分中,我将介绍PipeTransformer,这是一种用于分布式训练Transformer模型(BERT和ViT)的自动化弹性管道。在PipeTransformer中,我们设计了自适应的飞冻结算法,可以在训练过程中逐步识别和冻结部分层,并设计了弹性流水线系统,可以动态减少GPU资源来训练剩余的激活层,并在已释放的GPU资源上分叉更多的管道,以扩大数据并行度的宽度。第二部分,我将讨论可扩展的联邦学习,用于在资源受限的边缘设备和FedML生态系统上训练大型模型,其目标是针对CV NLP、GraphNN和IoT等多种AI应用在边缘进行无处不在的分布式训练。

地址: https://www.youtube.com/watch?v=AY7pCYTC8pQ

作者: Chaoyang He,美国洛杉矶南加州大学计算机科学系博士研究生

成为VIP会员查看完整内容
41

相关内容

分布式机器学习研究将具有大规模数据量和计算量的任务分布式地部署到多台机器上,其核心思想在于“分而治之”,有效提高了大规模数据计算的速度并节省了开销。
专知会员服务
63+阅读 · 2021年7月23日
边缘机器学习,21页ppt
专知会员服务
56+阅读 · 2021年6月21日
最新《深度卷积神经网络理论》报告,35页ppt
专知会员服务
38+阅读 · 2020年11月30日
少标签数据学习,54页ppt
专知会员服务
170+阅读 · 2020年5月22日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
96+阅读 · 2020年5月6日
MIT公开课-Vivienne Sze教授《深度学习硬件加速器》,86页ppt
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
97+阅读 · 2019年12月26日
推荐|斯坦福大学面向Tensorflow深度学习研究课程(2018)
全球人工智能
4+阅读 · 2018年1月14日
【机器学习】推荐13个机器学习框架
产业智能官
5+阅读 · 2017年9月10日
Arxiv
0+阅读 · 2021年9月26日
Arxiv
20+阅读 · 2018年1月17日
VIP会员
相关VIP内容
专知会员服务
63+阅读 · 2021年7月23日
边缘机器学习,21页ppt
专知会员服务
56+阅读 · 2021年6月21日
最新《深度卷积神经网络理论》报告,35页ppt
专知会员服务
38+阅读 · 2020年11月30日
少标签数据学习,54页ppt
专知会员服务
170+阅读 · 2020年5月22日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
96+阅读 · 2020年5月6日
MIT公开课-Vivienne Sze教授《深度学习硬件加速器》,86页ppt
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
97+阅读 · 2019年12月26日
微信扫码咨询专知VIP会员