阿里巴巴大数据运维平台实践

2018 年 9 月 13 日 QCon

作者介


作者介绍:矮鱼,2012年开始从事互联网,现负责阿里大数据计算服务保障和平台研发,在运维领域内有丰富经验积累。秉承 "Service unavailable? Our problem, whatever the reason"的理念,致力于保证线上稳定性和推进团队平台产品的迭代演进。



Maxcompute是阿里巴巴内部唯一的大数据处理平台,且在全球十几个地区提供公有云服务,并为上百家私有云输出计算能力。

作为支撑如此庞大系统的SRE团队,要面对的是EB级数据,TB级带宽,上百万块硬盘,还有上万的客户发工单。

我们在全流程的发布管理,全球的配置同步,高效的监控感知等基础运维领域都实现了高度的自动化。同时,从底层硬件到上层应用各个环节,我们掌握并分析使用了大量的数据来帮助我们突破传统思路的局限。

本次聚焦于近期在平台落地的几项成果,多地域的容量线性规划调优,硬件故障发现及自愈,运行作业的数据化诊断,分享我们在构建下一代运维平台的探索和思考。


演讲视频




幻灯片




在QCon公众号后台回复“0913”

即可下载完整幻灯片



往期演讲推荐


8年实践:从零打造大规模分布式数据库

优酷大数据质量平台及线上质量闭环解决方案

阿里巴巴大规模结构化存储实践背后的思考与进化




QCon上海2018


一年一度的QCon上海站将于2018年10月18-20日在上海宝华万豪酒店召开,下面是您可能感兴趣的话题,点击“阅读原文”查看大会详情。


构建Java API的艺术:Do's and Don'ts

讲师微软资深云开发者布道师   Jonathan Giles

作为Java开发者,我们都是站在巨人的肩膀上,使用其他人开发的API,从而走的更远。有时我们也要提供自己的API供其他人使用。构建Java API也不是没有风险的,我们必须非常熟悉语言特性,必须理解破坏兼容性的影响,必须担负起创建完美的文档等责任,还有最重要的,我们必须保持克制。

Jonathan Giles将带来的这场演讲,将向开发者分享如何构建自己的API,不管是内部使用、开源项目还是商用库。重点谈的也是构建Java API,而不是REST API或其他内容。Jonathan有十多年的Java API构建经验,他最初在Sun和Oracle的Java团队,参与了 Java 7、8、9和10等版本的开发工作;最近他加入微软担任云开发者布道师,和工程师团队紧密协作,改进Azure上的Java API。

演讲将分享开发者应该遵循的技巧,以及应该避免的问题。



登录查看更多
1

相关内容

华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
120+阅读 · 2020年5月22日
【阿里巴巴】 AI编译器,AI Compiler @ Alibaba,21页ppt
专知会员服务
43+阅读 · 2019年12月22日
【阿里技术干货】知识结构化在阿里小蜜中的应用
专知会员服务
96+阅读 · 2019年12月14日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
94+阅读 · 2019年12月4日
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
网易游戏海外AWS实践分享
高效开发运维
3+阅读 · 2019年5月21日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
17+阅读 · 2018年12月21日
人工智能大数据平台中Golang的应用实践
MomentaAI
5+阅读 · 2018年9月27日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
【人工智能架构】深度解密京东登月平台基础架构
产业智能官
11+阅读 · 2017年9月26日
开源巨献:阿里巴巴最热门29款开源项目
算法与数据结构
5+阅读 · 2017年7月14日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Arxiv
11+阅读 · 2018年9月28日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
13+阅读 · 2018年4月18日
VIP会员
相关VIP内容
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
120+阅读 · 2020年5月22日
【阿里巴巴】 AI编译器,AI Compiler @ Alibaba,21页ppt
专知会员服务
43+阅读 · 2019年12月22日
【阿里技术干货】知识结构化在阿里小蜜中的应用
专知会员服务
96+阅读 · 2019年12月14日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
94+阅读 · 2019年12月4日
相关资讯
阿里巴巴全球化架构设计挑战
InfoQ
35+阅读 · 2019年11月25日
5G时代:北京移动业务支撑系统 DevOps 实践
DevOps时代
15+阅读 · 2019年6月13日
网易游戏海外AWS实践分享
高效开发运维
3+阅读 · 2019年5月21日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
17+阅读 · 2018年12月21日
人工智能大数据平台中Golang的应用实践
MomentaAI
5+阅读 · 2018年9月27日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
【人工智能架构】深度解密京东登月平台基础架构
产业智能官
11+阅读 · 2017年9月26日
开源巨献:阿里巴巴最热门29款开源项目
算法与数据结构
5+阅读 · 2017年7月14日
Top
微信扫码咨询专知VIP会员