阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB

2017 年 10 月 12 日 程序猿

10月12日,阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破:将BigBench数据规模扩展到100T;流计算2.0每秒峰值达千万QPS,整体链路延时亚秒级;E-MapReduce对比同类产品平均性能提升3倍。



周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。我们希望通过不断的释放阿里云的计算红利,帮助开发者抓住更多市场机遇。


BigBench全球首次达到100TB


TPCx-BigBench是大数据端到端真实复杂的业界领先测试基准,目前,TPC官网公布的测试最大规模为10TB,最佳性能是1491.23BBQpm。


当天,阿里云与Intel合作,在最新的Intel硬件上,基于公共云发布的BigBench On MaxCompute+PAI,全球首次将规模拓展到100TB,达到7000 BBQpm,也是首个基于公共云服务的Benchmark。


据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。


在规模上的优秀表现,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。


在性能上,MaxCompute新一代处理引擎从Compiler、Optimizer、Runtime等模块进行的持续深度优化。此外,MaxCompute与Intel开展深度合作,软硬结合深度优化。


英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。


更快的流计算StreamCompute 2.0


在流计算方面,周靖人透露将于10月底在公共云发布新的版本。StreamCompute 2.0基于Apache Flink,并为开源社区提供了大量阿里内部的改进和优化。


新版流式计算2.0的特点包括:

1. 高吞吐低时延处理能力,单作业峰值达数千万的QPS,相比于StreamCompute 1.0有10+倍提升


2. SQL化的流式分析语言,由阿里巴巴计算事业部实时计算团队主导开发并回馈社区的BlinkSQL;BlinkSQL支持完备的流式处理语义,支持包括多种窗口、乱序容忍、完整DDL支持


3. 精准的数据处理语义,提供Exactly-once处理语义,同时为减少磁盘IO,提供增量CheckPoint,优化存储空间。



E-MapReduce性能3倍提升

E-MapReduce产品是阿里云上基于开源大数据的云服务产品,包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。


周靖人介绍,为了解决大数据处理以及机器学习的统一调度难题,E-MapReduce产品实现了CPU/GPU的混合调度方案,使得数据预处理以及数据训练可以在一个平台上解决。


E-MapReduce对于数据读写的性能至关重要,产品通过对于对象存储OSS的优化,使得读写OSS的性能是同类产品的3倍,对于计算和存储分离的大数据解决方案的产品化形式变得可以落地。

登录查看更多
0

相关内容

负责蚂蚁智能引擎与大数据中台技术研发。周靖人博士是国际上云计算大数据(Cloud Computing)、大规模分布式系统(Large-scale Distributed Systems)、数据库(Databases)、搜索推荐(Search & Recommendation),人工智能方向的权威和领军人物,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在国际上享有很高的声誉。在顶尖国际期刊和会议上共发表论文100+篇,并持有多项专利发明。 周靖人主导从0到1构建阿里新一代计算平台,通过大规模并行与分布式数据处理、图计算、云上系统资源管理和数据安全隐私计算等关键技术,实现多场景、多模态和异构计算等融合统一的系统智能与自治化,为各行业、各场景提供高效的算法支持和安全、可靠、强有力的计算引擎。达到国内第一,世界一流的水平。平台兼备高安全性,高扩展性,和全面性(支持流/批、ML、DL、图计算布局),性能达到业界一流水平,具备较强的竞争力。
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
新时期我国信息技术产业的发展
专知会员服务
69+阅读 · 2020年1月18日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
106+阅读 · 2020年1月2日
【德勤】中国人工智能产业白皮书,68页pdf
专知会员服务
301+阅读 · 2019年12月23日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
2018年边缘计算行业研究报告
行业研究报告
11+阅读 · 2019年4月15日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
阿里云发布机器学习平台PAI v3.0
雷锋网
12+阅读 · 2019年3月22日
重新体验NoSQL | 飞雪连天射白鹿 大数狂舞倚灵动(Lindorm)
阿里巴巴数据库技术
11+阅读 · 2018年12月25日
【人工智能架构】深度解密京东登月平台基础架构
产业智能官
11+阅读 · 2017年9月26日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
14+阅读 · 2017年5月19日
Learning Discriminative Model Prediction for Tracking
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
新时期我国信息技术产业的发展
专知会员服务
69+阅读 · 2020年1月18日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
106+阅读 · 2020年1月2日
【德勤】中国人工智能产业白皮书,68页pdf
专知会员服务
301+阅读 · 2019年12月23日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
相关资讯
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
2018年边缘计算行业研究报告
行业研究报告
11+阅读 · 2019年4月15日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
阿里云发布机器学习平台PAI v3.0
雷锋网
12+阅读 · 2019年3月22日
重新体验NoSQL | 飞雪连天射白鹿 大数狂舞倚灵动(Lindorm)
阿里巴巴数据库技术
11+阅读 · 2018年12月25日
【人工智能架构】深度解密京东登月平台基础架构
产业智能官
11+阅读 · 2017年9月26日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
14+阅读 · 2017年5月19日
Top
微信扫码咨询专知VIP会员