Twitter 这几年流计算技术 Heron 实践

编辑｜Victoria

最近，越来越多的企业对于实时数据技术架构感兴趣。从批处理向流计算机构的转型，是企业关于如何使用数据的一次技术革命。实时数据技术栈的最前沿现状是什么？在这其中，有哪些技术挑战？实时数据技术栈怎么影响流计算的架构和应用呢？

应近年来大规模实时分析的需求，很多流处理系统被开发出来。Twitter Heron开源系统就是其中的代表项目之一。这类系统要求在软件或者硬件失败的极端情况下能有较好的服务水平。为了达到这种要求，Twitter 在过去几年的时间内投入人力研发了一整套实时数据技术栈。

提高计算的时效性，更快的从数据中挖掘出信息和知识意味着能够获取更大的价值。由于对于实时性的高要求，从批处理向流计算机构的转型，是企业关于如何使用数据的一次技术革命。Twitter Heron项目可以作为想要开展实时计算的企业借鉴的范例。

2017年 11月 10日，ArchSummit 全球架构师峰会特邀 Twitter 工程师吴惠君为大家分享”流计算技术 Heron 实践“。本次分享，吴惠君老师将围绕实时数据技术栈讲解 Twitter 在使用 Heron 上的宝贵经验。

吴惠君

吴惠君博士，现任 Twitter 工程师，致力于实时流处理引擎 Heron 的研究和开发，Apache Heron committer。曾先后参与 Arris ME-7000 流媒体系统、Microsoft Midori操作系统、Alcatel-Lucent 5060 WCS 交换机、南方电网 CacheDB 数据库等项目。著有《Mobile Cloud Computing: Foundations and Service Models》。

分享形式

培训讲解与实践实操相结合。培训讲解部分主要介绍 Heron 的数据模型、运行时模型、应用框架等基础内容。实践实操部分主要通过几个 demo 让学员从零开始运行一个完整的本地 Heron集群 。

学习人群

Heron 主要对应的是流处理领域。适合有实时处理数据需求的企业，例如实时统计、实时计算、anti-spam 等场景。同样也适合参与 Storm、Flink、Spark Streaming 和 Kafka Streams等项目的技术同学。

分享亮点

• 了解流计算及其架构的历史，发展和典型应用，理解不同流计算平台的特性和优缺点

• 理解 Heron 的基本架构并能使用 Heron 进行实时处理

• 能够便捷地搭建一套高性能切实可用的实时处理系统

• 了解分布式实时处理系统设计中常见问题、难点和处理策略

• 动手体验从零开始做一个本地 Heron 集群

内容大纲

• 流计算的简介以及一些典型应用

• 流计算架构是什么，不同类型的流计算架构及其优缺点

• Heron 在流计算技术栈中的使用场景

• Heron 详解

• Heron 与上下游的衔接

• 我们使用 Heron 来搭建实时数据技术栈时获得的经验教训

• Q & A

其他分享

12月10日~12月11日，ArchSummit 全球架构师峰会特设为期 2天的深度培训，紧紧围绕大数据、深度学习、微服务等技术，系统性分享其中的实践经验，开放你的思路。

分布式应用架构

• 杨超    京东商城资深架构师

微服务原理、基础架构和开源实践

• 杨波    拍拍贷技术中心框架研发部总监

微博微服务化最佳实践

• 张雷    新浪微博技术专家

ArchSummit 全球架构师峰会深度培训 8折优惠倒计时，团购或培训套票报名更多优惠。点击【阅读原文】与技术大咖零距离交流。