ICML2022开会了!如炼何大模型?伯克利最新《大模型训练和服务的技术和系统》教程,176页ppt阐述大模型关键技术,附视频

2022 年 7 月 18 日 专知

【导读】预训练大模型是现在关注的研究热点之一。ICML 2022 大会于 7 月 17 日 - 23 日在美国马里兰州巴尔的摩市以线上线下结合的方式举办。来自伯克利的几位学者的《大模型训练与服务》技术教程,模型并行训练和服务中的研究和实践痛点,值得关注!



近年来,ML和系统的研究人员一直在合作,将大型模型(如带有175B参数的GPT-3)引入研究和生产。据揭示,增加模型大小可以显著提高ML的性能,甚至可以带来根本的新功能。


然而,试验和采用大模型需要新的技术和系统来支持他们对大数据和大集群的训练和推理。本教程确定了模型并行训练和服务中的研究和实践痛点。特别地,本教程介绍了新的算法技术和系统架构,用于处理流行的大模型(如GPT-3、PaLM和视觉转换器)的训练和服务。本教程还包括如何使用最新的开源系统工具集来支持大模型的训练和服务。我们希望通过这个教程,降低在ML研究中使用大模型的技术壁垒,把大模型带给大众。


https://icml.cc/Conferences/2022/Schedule?showEvent=18440



讲者介绍:



Hao Zhang目前是加州大学伯克利分校的博士后研究员,与Ion Stoica合作。他最近致力于为大规模分布式深度学习构建端到端可组合和自动化系统。



Zheng Lianmin是加州大学伯克利分校EECS系的博士生,他的导师是Ion Stoica和Joseph E. Gonzalez。他的研究兴趣在于机器学习和编程系统的交叉,特别是加速和可扩展的深度学习领域特定的编译器。


Zhuohan Li,加州大学伯克利分校计算机科学博士,导师是Ion Stoica。他的兴趣在于机器学习和分布式系统的交叉。他利用不同领域的见解来提高当前机器学习模型的性能(准确性、效率和可解释性)。


Ion Stoica是加州大学伯克利分校EECS系的教授 。他研究云计算和网络计算机系统。过去的工作包括Apache Spark, Apache Mesos, Tachyon, Chord DHT和动态包状态(DPS)。他是ACM Fellow,并获得了许多奖项,包括SIGOPS名人堂奖(2015年),SIGCOMM时间测试奖(2011年),和ACM博士论文奖(2001年)。2013年,他与人共同创立了一家名为Databricks的创业公司,致力于将大数据处理技术商业化。





专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“BM176” 就可以获取ICML2022开会了!如炼何大模型?伯克利最新《大模型训练和服务的技术和系统》教程,176页ppt阐述大模型关键技术,附视频》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

大模型是基于海量多源数据打造的预训练模型,是对原有算法模型的技术升级和产品迭代,用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习,以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。
专知会员服务
76+阅读 · 2021年7月23日
【AAAI2021】预训练语言模型最新进展,附113页ppt和视频
专知会员服务
64+阅读 · 2021年2月23日
【课程】伯克利2019全栈深度学习课程(附下载)
专知会员服务
56+阅读 · 2019年10月29日
【ICML2022教程】智能交互式学习,80页ppt
专知
1+阅读 · 2022年7月22日
《AutoML:方法,系统,挑战》新书免费下载
新智元
24+阅读 · 2019年5月28日
自然语言处理(NLP)前沿进展报告(PPT下载)
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年9月12日
Arxiv
69+阅读 · 2022年6月13日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员