阿里数据库迈入全网自动优化时代

2018 年 4 月 24 日 阿里巴巴数据库技术 万秋(纪文成)

2018年4月初,在阿里巴巴西溪园区,举办了CloudDBA全网自动优化的项目启动会,这是阿里巴巴数据库技术史上的一个重要里程碑。数据库技术团队负责人张瑞、应用与架构团队负责人佳毅、数据产品团队负责人斗佛以及来自业务平台的道延做了精彩的分享,谈到了数据库团队的梦想和追求,也谈到了CloudDBA的前世今生,还谈到了对CloudDBA未来的期望。

几年前,数据库的性能优化都需要DBA同学手工去处理,定位性能瓶颈,针对有问题的SQL,再人工优化,费时费力。现在,CloudDBA结合大数据,实时采集全网SQL流水,进行实时计算,同时也会结合基于机器学习的异常发现,和SQL优化引擎等核心技术,将技术红利赋能于数据库自动优化。

CloudDBA自研的SQL优化引擎通过对SQL的语法解析和数据分布的动态采样,根据成本评估出合理的SQL优化建议,帮助开发和DBA同学对SQL进行优化,有效的减少拖慢系统的慢SQL,高效可靠的SQL优化引擎,是我们开启自动优化的重要基石。在数据库的空间优化上,CloudDBA通过分析表空间碎片、无用索引、重复索引、无流量表,对浪费的空间进行回收,大大减少了不必要的空间消耗,为集团节约了大量存储成本。

CloudDBA产品经过几次大的产品迭代,已经完善了从SQL优化,性能趋势,慢SQL及全量SQL诊断,实例会话管理,空间管理,实时性能和死锁诊断等数据库性能相关的功能。CloudDBA产品致力于服务数据库的高效稳定运行,通过优化数据库性能,让开发同学能够专注于业务开发,将数据库性能托管给CloudDBA平台,摆脱慢SQL引起的性能退化、空间不足引起的线上问题。

从18年1月以来,CloudDBA的优化诊断功能搭配自动优化系统,主动发现数据库的性能和稳定性风险,选择合适的运维时间窗口,对数据库进行安全可靠的自动优化,不需要人工介入。截止到目前,CloudDBA已累计完成了近千万条慢SQL的自动优化,同时通过空间自动优化节省了近1PB的磁盘空间。当然这只是一个开始,接下来,CloudDBA将应用更多优化方法,对数据库进行全自动化优化,将以慢SQL下降和空间节省为核心,从时间(运行效率)和空间(存储成本)两个维度进行优化。

CloudDBA全自动优化的启动,标志了阿里巴巴数据库正式进入全网自动优化时代,可谓是数据库优化领域的自动驾驶,这是阿里巴巴数据库技术史上的一个重要里程碑。让产品代替人自动诊断优化是数据库技术团队多年来一直努力的目标,“因为相信所有看见”,在数据库诊断优化领域多年的坚持,才让今年的全自动优化成为现实。

CloudDBA在接下来的系统迭代升级中,会将理论与实践相结合,自动优化与用户反馈相辅相成,不断追求更加卓越的数据库优化服务,助力飞速发展的业务,推动数据库行业变革,让CloudDBA成为业界最领先的数据智能优化产品,这也是我们一直坚持的目标。

CloudDBA是要做用户身边的数据库专家,始于专注,忠于品质。

最后,我们想说的是,We are hiring!

Java技术专家/高级专家

  • 数据库诊断优化

  • Java后端开发

  • 数据处理/数据分析(Storm/Spark等)

算法专家/高级专家

  • 数据挖掘

  • 机器学习

Email: kenny.qhl@alibaba-inc.com

欢迎加入CloudDBA团队,感受数据库自动驾驶的魅力,一起开创智能优化时代!


登录查看更多
1

相关内容

德勤:2020技术趋势报告,120页pdf
专知会员服务
187+阅读 · 2020年3月31日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
105+阅读 · 2020年1月2日
【阿里技术论文】AliMe KBQA:阿里小蜜中的结构化知识问答
专知会员服务
82+阅读 · 2019年12月14日
【阿里技术干货】知识结构化在阿里小蜜中的应用
专知会员服务
96+阅读 · 2019年12月14日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
78+阅读 · 2019年10月12日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
智能时代如何构建金融反欺诈体系?
数据猿
12+阅读 · 2018年3月26日
一篇文章读懂阿里企业级数据库最佳实践
阿里巴巴数据库技术
5+阅读 · 2017年12月20日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
16+阅读 · 2018年4月2日
Arxiv
9+阅读 · 2018年3月28日
VIP会员
相关资讯
Top
微信扫码咨询专知VIP会员