阿里巴巴Blink大数据计算架构演进之路

作者介绍：王绍翾，淘宝花名"大沙"，加州大学圣迭戈分校计算机工程的博士，2015 年加入阿里巴巴集团，目前就职于阿里巴巴计算平台事业部。加入阿里之前，曾在 Facebook 开发分布式图关系数据库 TAO。加入阿里之后，王绍翾一直从事阿里新一代计算平台 Blink 的研发工作。先后负责过阿里淘宝天猫的搜索离线数据处理，Blink 计算平台的 SQL 查询和优化，最近开始负责 Blink 大数据计算平台和算法工程平台。王绍翾是 Apache Flink 的 committer，除了自己，他在团队内部还培养出多位 Apache Flink committer。

演讲概述

大数据计算框架, big Data Infrastructure (DI), 往往最终服务的都是 Business Intelligence (BI) 和 Artificial Intelligence (AI) 类型的计算。阿里巴巴 Blink 是一款基于 Apache Flink 改造的大数据计算引擎。Flink 从诞生的第一天开始就是成为一个统一批处理、流处理以及人工智能计算的引擎。我们相信 Flink 的架构具有独特的优势，并且一直在为这个目标而努力。本演讲分享阿里巴巴是如何打造出 Blink 这一款大数据计算引擎来支撑大数据计算的 Data Infrastrucuture，从而服务于各式各样的 Business Intelligence (BI) 和 Artificial Intelligence (AI) 业务。

演讲视频

应作者要求本期演讲PPT不对外发布

背景简介

目前阿里巴巴所有的业务，包括阿里巴巴所有子公司都采用了基于 Flink 搭建的实时计算平台。作为 Apache 软件基金会下的顶级项目，Flink 有许多优点，比如，Flink 很好地引入和设计了 State， 引入了 Chandy-Lamport 算法。虽然 Flink 在理论模型和架构方面有很多创新，但在 State、Chandy-Lamport 算法等方面还存在缺陷，尤其是在大规模使用上，要知道阿里的业务场景及其复杂，很多问题在一般的公司、一般的场景是很难接触到的。阿里巴巴自 2015 年开始改进 Flink，并创建了内部分支 Blink，对 Flink 进行大量的修改和完善，让其适应阿里巴巴这种超大规模的业务场景。在这个过程当中，团队不仅对 Flink 在性能和稳定性上做出了改进和优化，同时在核心架构和功能上也进行了大量创新和改进。

---

以上就是王绍翾老师在 QCon 上海 2018 的精彩分享，更多话题探索请持续关注新一届的 QCon 大会。

目前大会8 折报名中，立减 1760 元。点击 「阅读原文」或识别二维码了解 QCon 十周年的精心策划。有任何问题欢迎联系票务小姐姐 Ring：电话 010-53935761，微信 qcon-0410。