数据中台、数据湖到底是怎么回事儿？

2020 年 12 月 4 日 DataFunTalk

导读：12月20日，09：00-12：40，受DataFunTalk组委会邀请，爱奇艺技术副总裁孙斌老师将担任DataFunTalk年终大会大数据应用实践论坛的出品人，并邀请来自爱奇艺、bilibili、网易、小米等公司的5位嘉宾，就数据中台、数据湖等大数据应用实践话题进行分享，感兴趣的小伙伴欢迎上车！

论坛及日程

论坛名称	大数据应用实践论坛
论坛时间	12月20日，09:00-12:40
论坛出品	孙斌爱奇艺技术副总裁
分享时间	分享内容
09:00-09:40	基于大数据技术构建爱奇艺全链路监控平台爱奇艺数据库和中间件负责人郭磊涛
09:45-10:25	数据湖的初步探索与实践落地 bilibili实时平台负责人郑志升
10:30-11:10	爱奇艺数据中台的建设实践爱奇艺数据中台负责人马金韬
11:15-11:55	Impala 3.4在网易的优化实践网易资深大数据开发工程师汪胜
12:00-12:40	Doris在小米数据中台中的实践小米高级软件工程师姚青林

论坛报名

识别二维码，免费报名

详细介绍

出品人：

孙斌

爱奇艺 | 技术副总裁

孙斌，爱奇艺技术副总裁。负责爱奇艺的商业智能、大数据、智能制作等部门和方向。在互联网产品设计和研发方面有十多年经验，曾就职于微软、hulu、雅虎等公司，也曾在国内知名互联网公司负责过创业项目。

分享嘉宾：

郭磊涛

爱奇艺 | 数据库和中间件负责人

郭磊涛，爱奇艺数据库和中间件服务负责人。2007年博士毕业于中国科技大学计算机系，进入中国移动研究院负责大数据平台的建设，2014年加入爱奇艺负责数据库内核、中间件及运维系统的研发，热衷于 Hadoop 生态系统优化和高效运维架构。

演讲议题：基于大数据技术构建爱奇艺全链路监控平台

演讲议题介绍：为了适应业务的快速迭代和创新，并支撑海量的用户请求，爱奇艺各系统的架构和调用链路拓扑越来越复杂。如何构建高效易用的全链路监控平台，快速甄别调用链路上的故障及风险点，成为保障服务稳定性的关键问题。基于大数据相关的日志采集、Kafka、Flink实时分析、Elasticsearch、HBase和Druid等技术和组件，构建了爱奇艺全链路监控平台，通过调用依赖关系分析、服务间调用关系指标、程序异常分析、日志关联查询等功能，有效提高了链路故障和风险的定位和解决效率。本次议题将重点介绍爱奇艺全链路监控平台的架构及相关大数据技术的应用实践经验。

郑志升

bilibili | 实时平台负责人

郑志升，大数据实时体系负责人，加入B站前曾任职于阿里巴巴。主导涵盖“数据埋点-实时传输接入-实时计算-开发应用”全链路的中台建设，目前重点关注实时（含增量）的传输与计算，实时机器学习等方向。

演讲议题：数据湖的初步探索与实践落地

演讲议题介绍：

1. 数据ETL的痛点

2. 基于数据湖的增量ETL

3. 增量Append及Upsert的实现

4. 未来展望

听众收益：

1. 了解数据湖在数仓体系的一些落地应用场景

2. 了解如何基于Flink+HUDI构建一套通用的ETL增量管道

3. 了解数据在万亿规模下如何打造高性能和高可用的综合型ETL管道化服务

新技术/实用技术点：Flink、HUDI、数据湖、增量数仓

马金韬

爱奇艺 | 数据中台负责人

马金韬，目前就职于爱奇艺，负责数据中台的规划、建设和推广工作，前后在360、百度和阿里巴巴等多家公司从事广告和大数据相关工作，目前主要关注大数据技术生态、发展方向和业务价值实现等方向。

演讲议题：爱奇艺数据中台的建设实践

演讲议题介绍：随着市场对数据价值的认可，促进了数据在各行各业的爆发式增长，以及大数据设施的快速演化，同时也带来了不少新的数据问题；解决这些问题，发挥更大的数据价值，成为了各大公司的重点工作。爱奇艺通过数据中台的建设和实施，发挥通用化、中心化、服务化和标准化等能力和特点，将数据能力覆盖到公司任何角落，赋能业务发展，并通过加深数据AI化等新的技术方式，对数据价值进行深度探索；本次分享将从数据中台的概念、架构、建设理念等角度切入，对关键组成部分进行深入介绍，让大家能够在理解中台的同时，了解到如何通过中台解决问题，帮助业务挖掘数据价值。

听众收益：理解数据中台，了解如何通过中台解决问题，清楚结合业务场景的方式。

新技术/实用技术点：数据中台、统一数仓 ⁺ 、统一服务等。