火山引擎项亮揭秘字节跳动基于 HPC 的大规模机器学习技术|直播分享报名

2022 年 4 月 12 日 量子位

机器学习是当前领先的 AI 范式,到目前为止取得了非常可观的成就,当前机器学习也是一个非常时髦的话题。

2021 年 12 月火山引擎云产品发布会上正式发布了 AI 全系产品,其中的 AI 开发平台就是全流程、高效率、高性能的机器学习平台。该平台提供从数据准备到模型训练、再到推理整个服务;通过 RDMA 网络直连上万张 GPU 和自研的分布式训练框架,可以将 GPU 的资源利用率加速到 90% 以上,极大提升性能的同时降低了使用成本;提供完善的工具链、全功能在线的 IDE,包括端云协同的开发环境,以及本地 AI 代码一键上云,实现极致的开发体验。

在这次发布会上, 火山引擎机器学习系统负责人项亮也首次向外界分享了火山引擎推荐系统的技术演进和应用实践。项亮在分享中提到,搭建整个推荐系统是非常消耗资源的事情。而火山引擎的智能推荐平台,可以做到直接提升你想提升的业务目标,模型可以直接预估这个目标,最终结果按照预估的结果排。先把目标定下来,剩下的都是机器学习的事情。火山引擎机器学习平台的核心目标就是降低算法开发门槛,实现规模化应用。

源于字节跳动业务打磨的机器学习技术,火山引擎机器学习平台是如何设计的?在实现过程中又有哪些挑战?

4 月 14 日晚间 19:30-21:00,火山引擎开发者社区技术大讲堂第一期将为大家揭秘字节跳动基于 HPC 的大规模机器学习技术,技术负责人项亮开深度分享机器学习平台架构与实践,与广大开发者互动。同时,承载机器学习平台的超大规模 HPC 基础设施也将首度在社区分享。

《火山引擎大规模机器学习平台架构设计与应用实践》

项亮| 火山引擎机器学习系统负责人

本次分享将围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等 AI 工程化实践,全面介绍如何以开发者的极致体验为核心,进行机器学习平台的设计与实现,带大家了解当前机器学习应用落地过程中的挑战以及火山引擎如何应对这些挑战。

分享主要内容:

  1. 机器学习应用开发过程中的挑战

  2. 火山引擎机器学习平台的架构

  3. 字节跳动内部及行业头部客户的机器学习应用实践案例

《大规模高性能计算集群架构及优化实践》

叶璐|火山引擎云计算研发工程师

冯瑞青|火山引擎云计算研发工程师

随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享将主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践,带大家了解火山引擎支撑大规模高性能计算集群的架构和优化实践。

分享主要内容:

  1. 模型训练的趋势及对基础设施的要求

  2. 火山引擎高性能计算实例相关产品介绍及平台架构

  3. 支撑超大规模训练的 RDMA 网络架构和优化

  4. 字节跳动内部及合作伙伴的业务实践

扫描海报二维码或点击阅读原文即可报名活动!

*本文系量子位获授权刊载,观点仅为作者所有。


—  —

「智能汽车」交流群招募中!

欢迎关注智能汽车、自动驾驶的小伙伴们加入社群,与行业大咖交流、切磋,不错过智能汽车行业发展&技术进展。

ps.加好友请务必备注您的姓名-公司-职位哦~

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」「点赞」和「在看」

科技前沿进展日日相见 ~



登录查看更多
1

相关内容

《华为云数据库在金融行业的创新与探索》华为26页PPT
专知会员服务
13+阅读 · 2022年3月23日
2021年中国云原生AI开发平台白皮书
专知会员服务
54+阅读 · 2021年12月4日
元宇宙专题深度,63页ppt
专知会员服务
217+阅读 · 2021年11月22日
专知会员服务
65+阅读 · 2021年8月28日
一图搞定ML!2020版机器学习技术路线图,35页ppt
专知会员服务
93+阅读 · 2020年7月28日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
MIT公开课-Vivienne Sze教授《深度学习硬件加速器》,86页ppt
字节跳动机器学习系统云原生落地实践
专知
2+阅读 · 2022年2月18日
你的2.6朵云里,会有火山引擎吗?| Q推荐
大厂「卷」上云,字节跳得快!
新智元
0+阅读 · 2021年12月6日
从更高到更好 揭秘2021阿里双11背后的技术亮点
阿里技术
0+阅读 · 2021年11月12日
直播预告 | 大规模图机器学习框架&算法
图与推荐
0+阅读 · 2021年10月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
1+阅读 · 2022年4月17日
Sensitivity of sparse codes to image distortions
Arxiv
0+阅读 · 2022年4月15日
Arxiv
13+阅读 · 2021年5月3日
Arxiv
27+阅读 · 2020年6月19日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
相关论文
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
1+阅读 · 2022年4月17日
Sensitivity of sparse codes to image distortions
Arxiv
0+阅读 · 2022年4月15日
Arxiv
13+阅读 · 2021年5月3日
Arxiv
27+阅读 · 2020年6月19日
Top
微信扫码咨询专知VIP会员