数据是企业数字化转型的核心要素和生产资料,它是一种“可再生”资源,取之不尽,用之不竭,而数字技术则是企业数字化转型的直接手段。数字技术的产生让企业从传统业务出发被动地录入数据,到如今利用各种各样的开发工具不断地去 生产数据、分析数据、使用数据,从而利用数据来赋能业务。然而,数字化并不是一项独立的工作,企业不要询问“数字化转型要做什么”,更是需要将数据能力放到整体组织的业务战略的大蓝图下,以业务目标为锚点,找到业务的痛点和价值场景,然后利用数据和数字技术去解决这些问题,整个过程都需要企业持续建立自身的数据能力。
极客邦科技双数研究院的特聘专家、精益数据方法论创始人史凯,在 8 月 18 日举办的 ArchSummit 全球架构师峰会 发表了《数据驱动的组织和文化》的演讲。史凯有着二十多年的企业信息化和数字化转型经验,曾为众多大型企业做过数字化转型规划和实施,总结了精益数据方法论帮助企业打造数字化企业。史凯的本次演讲聚焦于 数据驱动 企业组织文化。
演讲要点:
1.“数字化转型不是一个单独的项目,而是因为企业外部环境的变化,给企业带来了新的挑战,企业需要利用新的技术和生产资料来应对这些挑战。”不要问数字化转型要做什么,而是要理解什么是数字化转型。
2.“现在企业的架构,已经逐渐地从原来以流程为核心驱动,走向以数据为核心驱动,形成流程和数据相结合的模式。”
3.“企业数字化转型的本质是建立数据的能力,从而充分利用数据,获得更先进的生产力。”
4.“未来的企业都是生产、加工数据的企业,数据中台就是核心,承载端到端的数据的生产利用等全链路功能。”
5.“企业的数字化转型是一个非常体系化的工作,要从战略,组织,流程,业务,技术等全方位,系统化推进,其中最重要的就是要充分利用数据的力量。”
以下是演讲整理,以飨读者。
大家好,我是史凯,是精益数据的创始人,同时也是极客邦的双数研究院的特聘专家。20 多年以来,我一直从事如何把数字技术应用到企业的业务转型当中。我的核心观点,如果技术不能够给业务带来价值,那么不论这个技术多么先进,都不是企业所需要的,所有的技术都会得到市场的检验。
自从三年前我写的关于数据中台的文章获得了 10 万 + 的阅读量后,我一直在思考一个问题:数据领域本身是一个非常成熟的领域,但是在数据中台一词出现时,为什么会得到那么多业务方、技术方的追捧和认可?其背后反映的现象与底层逻辑又是什么?
于是,我做了一个关于数据中台的调研,获得了 1700 多条有效问卷。基于这个调研问卷的结果,结合今天的主题,我将从企业转型跟数据的关系、数字化转型跟数据中台的关系、企业需要什么样的数据中台以及如何打造一个数据驱动的企业这四个方面,跟大家汇报过去几年的研究发现。
第一、企业转型与数据的关系,归根到底就是要解释什么是数字化转型。
无论是具体的业务人员、技术人员,还是每个企业的领导人,都在焦虑一个问题:数字化转型要做什么?
其实,这不是一个正确的问题。首先,我们要理解什么是数字化转型。
我将企业数字化转型总结为:企业进入到了数字经济时代的整体转型,数字化转型不是一个单独的项目,而是因为企业外部环境的变化,给企业带来了新的挑战,企业需要利用新的技术和生产资料来应对这些挑战。所以,企业数字化转型不仅是技术的工作,更不是独立于业务之外的事情,而是一项包括企业业务,组织等在内的整体转型。
为什么这么说?或许我们可以从 信息化 开始来理解数字化。
十几年前,信息化时期大部分业务的处理流程还是在线下实体世界中进行,只有一些局部的环节需要信息系统支持。比如,我们可以从计算机软件技术应用于企业的历史中发现一定的规律,比如最早的软件是应用于企业的库存管理领域的,因为 库存管理(Inventory Control)连接着生产和供给,是保障企业稳定运营的关键集成点。随着信息化的发展,从库存管理走到 MRP 再走到 MRP-II,再到后来的 ERP,整个过程就是不断地把线下,以人工流程为主的业务搬到线上,通过数字技术,不断地去完善信息化系统。
随着大量信息化系统的出现,相对成熟的企业大部分业务已经有了独立的系统,于是,它们从信息化逐渐走向了数字化,也就是大部分业务都已经数据化了。
数据是业务的数字化存在形式。在消费互联网时代,大家的吃穿住用行,第一件事便是先在数字化世界里去找数据、找评价,然后通过这些数据,指导现实中去哪里、做什么。再比如,我们现在看到的新的产业互联网的趋势,智慧工厂、无人工厂、无人零售店,也都是通过数据来优化和指导业务的进行。
软件技术的进步和发展,实际上都是在把实体世界的业务流程搬到了数字化世界。我们现在提到的原生数字化企业、数字经济,最后就是利用数据的全局优化能力、计算能力、把最优的路径决策设计好,然后去指导线下的人或者设备进行生产。
简言之,传统的信息化是把实体世界的业务转变成数字化形式,一切业务数据化,数字化转型则是通过数据指导实体业务,这就是两者最大的区别,本质上数据已经是业务的数字化存在形式。
第二,企业的架构方法也在发生变化。在十几年前,我们有一套给企业做信息化规划架构的实施方法论。首先要做 业务架构,然后做 应用架构,最后才是 数据架构。但是,随着企业业务的快速变化,数据变成了业务在数字化时代中一种永远的存在。
这种情况下,传统的架构方法、企业应用规划方法也在发生变化:从 Application First 到 Data First,首先要考虑的是“数据”,这里的“数据”指的是业务在数字化时代的一个映射,是企业业务的整体蓝图。
第三,我发现了一个新的趋势,流数融合。
近一两年有非常多的声音在谈论流程。每个企业都有流程,但是流程的本质是什么?
实际上,流程就是用人的经验、用梳理流程的方式去做业务建模。现在企业的架构,已经逐渐地从原来以流程为核心驱动,走向以数据为核心驱动,形成流程和数据相结合的模式。
原来在物理世界里,无论是营销还是生产,大部分工作都是以人为核心的流程。大家在一起讨论一个工作的流程,究竟应该怎么工作,这个叫做业务流程再造(BPR),把这些业务经过梳理,优化变成流程,一个上百人、上千人的工厂企业就可以有效地组织起来,不至于一团乱麻,这也是企业里大家所公认并且遵守的一套有效协作生产的计划。
随着信息量的不断增长,业务复杂度导致的沟通效率的降低,企业逐渐选择通过软件进行高效沟通,所以就有了 IC、MRP、MRP-II、ERP 这样的软件系统。
再后来,进入到了电商、供应链时代,企业内部的管理软件已经不足以支持蓬勃发展的业务需求,于是企业把内部、外部全部连接起来,这就到了应用时代,逐渐地,这些应用全部沉淀成了数据。
最后,当我们把一个企业所有的业务或者大部分的业务,全部通过各种系统沉淀成数据时,那么,数据便可以将该企业的业务完整、真实的呈现出来,这个时候对于数据的利用就很关键。
BI 时代,企业通过开发报表的形式去利用数据。业务人员会查看报表,根据他所得到的这些信息,在人为的优化流程,然后向技术部门提需求,继而技术部门再去改系统,这是现在多数企业的现状。
当所有的业务全部数据化以后,企业全部的业务和流程融为了一体,用软件的形式展现出来。无论是 DDD 也好,企业架构也罢,其实都是把现实世界业务建模成软件的一种方式。
当企业的业务和流程已经全部呈现在软件系统中时,这些软件和系统就是企业的业务的承载。而数据则是最终业务最全面,最本质的呈现。
最近数据领域有一个技术趋势,叫 湖仓一体。湖仓一体背后的逻辑是原来的 OLTP 和 OLAP 架构的融合。OLTP 是在线交易处理,OLAP 是在线分析。OLTP 是产生数据,OLAP 汇聚数据、分析数据,分析完数据变成报表给人看。但是现在我们会发现企业业务对数据的需求是如何让数据更实时,更直接地指导业务,而不是说数据团队给业务人员开发个报表,业务人员晚上看一遍,第二天再去调产品价格。
因此,要将数据直接变成 API,变成服务去驱动企业的业务流程。
十几年前,数据团队在企业里的角色定位和现在相比是截然不同的。那个时候 OLAP 没有特别强的实时性要求,数据仓库系统宕机了就宕机了,带来的后果只不过是业务人员晚两天看报表而已,也不需要高级别 SLA 的保障。
回到我们的第一个话题,企业为什么要做数字化转型?企业和数据的关系是什么?
企业的数字化转型就是在数字化时代的背景下,必须要做的企业真题转型。
企业数字化转型的本质是建立数据的能力,从而充分利用数据,获得更先进的生产力。
任何一个名词的出现,都有着它们特定的时代背景和意义。为什么数据中台的概念能够备受认同?
现在企业都面临着数据的问题,不仅仅是 IT 所讲的数据质量的问题,而且还有当企业的业务需要做决策时,得不到统一的指标,拿不到统一的口径,几个部门出的报表都不一致的数据价值的问题。
经过研究分析,我发现,企业所有的数据问题的本质是业务对于数据生产的需求与其有限的、碎片化的数据生产力供给之间的矛盾。
怎么理解这个矛盾呢?
在十几年前,业务部门做业务决策时,并不需要太多的数据。因为业务量有限,外界变化也不大,业务人员根据自己的经验就可以了解、全盘掌握所需要的信息,并且做出决策。
但是在现在的环境下,业务越来越复杂、市场变动得越来越快、竞争也越来越激烈,业务人员或者业务部门依靠自己的经验,已经不足以全面掌握他所需要的业务动态信息。在此情况下,他们就需要借助数据获得更多的洞察、更多的现状、更多的预测。所以,他们对数据的生产、加工、利用都会有非常多的需求。比如,一到月底,数据部门的需求量就会爆增,有财务的、物料的、设备的、生产的各种部门都要求产出报表。
目前大部分企业的数据的生产和利用都是由 IT 部门负责的。而 IT 部门现有的资源能力不足以满足整个企业业务对于数据的需求,所以出现了,需求排期太长,响应不及时的情况。于是,就有很多业务部门自己去想办法,自己找资源,自己整理表格、自己开发数据系统,这样就出现了非常多的重复、浪费、堆叠的新的数据孤岛。
我见过有的集团,数据中台就有七、八套,这也是造成数据质量问题、产生 数据治理 各种问题的原因。
在这种情况下,企业应该怎么做?
我研究了很多国内外先进企业的案例,比如:字节跳动和 Netflix 等。我们会发现这种原生数字化企业,对数据治理这个词提的并不多。
为什么它们不经常去提数据治理?因为,它们本身就是通过生产、加工数据,然后将数据变成产品,再去销售,从而带来收益的企业。所以,数据的质量和各种问题在生产过程中是必须被管理好的,是一个生产问题,而不是一个管理问题,因此,它们不会经常提数据治理。
每个这样的企业,它们都有几个共性:
1. 统一性:无论企业的技术架构如何、物理部署如何,它们都有一套平台(可以称作“数据中台”),从逻辑上来看,这套平台是企业整体的一部分,和企业具有统一性。所有的数据都是同源的,技术的出口也是同源的。
2. 标准化:企业所有用户使用的开发语言、开发工具、开发过程都是标准化的、共通的。
3. 易用性:不同层次的数据开发者、数据消费者都可以使用企业的工具、技术。比如说业务人员不会使用 Python,企业可以给他们 Excel;数据分析师不会写代码,企业也可以给到其他的替代工具。
4. 自服务:在这个平台上,不同的数据加工用户都可以找到相应的数据生产、使用工具。无论采用何种工具,最后大家开发的结果都是标准化的、都是互通的。这个“自服务”可以让用户利用自己现有的知识去加工、生产数据。
在如今的企业中,也存在很多数据能力的问题,比如:开发人员想取个数,找不到在哪里,即使找到了,但是口径也不一定对,因为这个数据结构不一定就是他自己建的。此外,也有很多数据需求,从决策层到管理层,再到业务人员、业务分析人员,他们都需要不同的数据报表;从软件工程师到开发工程师,他们做软件的时候也需要不同的数据 API。
总之,通过这样一套平台可以把企业的数据分析、数据加工、数据利用等全链路的数据能力聚集起来,这个平台也能够端到端的把统一的数据和统一的数据能力提供给数据生产、消费者,这也是企业对“数据中台”这四个字所期望的能力。只有数据中台拥有这种能力,才能够让企业所有的数据发展成为全员的数据能力,这就是数字化转型跟数据中台的关系。
未来的企业都是生产、加工数据的企业,数据中台就是核心,承载端到端的数据的生产利用等全链路功能。
那么,企业需要什么样的数据中台?
调研报告显示,企业不同角色对于数据中台的业务诉求不尽相同。很多人把数据中台泛化,把营销、业务的语言、业务的需求都放到数据中台里。比如,把 CDP 放到数据中台。
基于 1700 多份调研问卷的分析,我总结了用户对于数据中台的五大期待。
第一,直接参与业务。无论是架构师、IT 人员还是数据人员,大家都面临着领导的挑战:你开发数据的业务价值是什么?企业希望数据中台所代表的数据能力,不仅仅是完成一个报表,而是要提升业务效率,直接给企业带来价值。
第二,产生客户价值。企业希望通过数据中台可以给企业带来收入。数据中台可以解释什么是客户价值?用什么东西最能度量客户价值?企业数据洞察给到的建议,客户愿意去付钱、去购买吗?
第三,快速响应需求。以前经常会听到很多业务部门跟数据部门、技术部门的沟通:“我这个报表什么时候能开发出来?”“我要的数据什么时候可以给我?”。要想解决上述问题,就需要 IT 人员的排期,企业希望数据中台能够提升开发效率。用户可以立刻得到想要的数据,无论是 API,是宽表,还是其他的数据形式,数据中台都能快速响应需求。
第四,统一数据服务。这里的统一并不是所有的形式要都一致,而是数据服务标准要一致。很多企业,无论是数据表、宽表还是报表,有很多数据是重复的。企业希望各个业务、技术部门都可以清楚地从一个平台上看到全线范围之内的数据服务。
第五,打通数据资产。通过数据资产整体的技术去打通整个企业的数据资产,对数据进行统一采集、存储,进行统一的资产管理、数据治理。而这里的数据资产不仅指的原数据,还包括二次开发的数据表。
基于以上的用户的期待以及行业里的先进实践,我总结了数据中台的定义:数据中台是为企业或者组织提供有业务价值服务的、统一的、端对端的数据生产平台。
Netflix 就是一个典型的案例,在 Netflix 的话语体系里的数据中台就是大数据门户,这是一个一站式的数据生态平台,实现了端到端的全链路数据加工生产。
研究了用户的需求以及行业的实践之后,我基于 DDD 把数据中台抽象和建模,将企业数据中台的能力分成两个领域:
生产领域——数据中台的核心能力。假设企业的数据中台主要是采集数据、加工数据、生产成数据服务、数据产品的话,那么企业就相当于是一个工厂,而工厂最核心的能力便是生产能力。换句话说,就是买原材料、研发产品、生产产品、加工产品、销售运营等一系列能力。这些生产能力是支撑企业生存、获得利润的核心,这也是数据中台必须具备的核心能力。
管理领域——数据中台的支撑能力。当企业具有一定规模后,就需要一些管理性的、辅助性的、可以提高生产效率、提升用户体验、提高系统安全性的能力。
仔细来看,我们又可以根据数据中台分别在生产、管理领域的不同应用,将数据中台的能力分为四大核心能力以及三大支撑能力。
数据中台的四大核心能力具体包括数据资产的采集和存储能力、业务价值的探索和创新能力、数据产品的开发和运营能力、数据的加工和测试能力。其实,我们谈及到的各种技术体系和产品都是服务于这些核心能力的。
现在企业有大量新的技术、软件都是服务于数据采集、存储、加工、测试等方面的。而关于业务的价值探索和创新,是需要让业务人员能够快速地看到企业的数据资产,让他们能够随心所欲使用数据,目前企业数据中台的这个能力还是不足的。关于数据产品的开发和运营,实际上包括 DevOps、包括埋点、包括如何在产品上线后,把产品运营得更好,这些都是数据中台需要的核心能力。
另一方面,数据中台三大支撑能力是为了让数据更快、更好、更安全的产生价值,具体包括数据的协同与共享能力、数据的管理与治理能力、数据的运维与 安全能力。
在整个数据加工的全生命周期链路里,有非常多的协作者,从数据需求的提出者到数据获取、数据生产,数据开发、测试、上线、运维等阶段,全链路的用户都需要通过数据中台进行协作。其实,目前有很多企业因为不标准、不一致的协作机制,把大量的时间浪费在了这个环节,所以数据中台必须需要协作和共享的能力。
同时,数据中心 还需要管理和治理的能力,哪些数据能访问?谁能访问?当数据服务发布以后,什么时间点它应该自动的下线?哪些数据可以重复构建?哪些数据要在本地做存储,哪些数据应该全部统一上云?这都是数据资产的管理和治理的范畴。
最后,数据中台离不开运维和安全,这是保障数据中台良好运营的前提。
所以企业的数据中台是否是完备的,能否支撑企业的数字化转型,可以参考这七大能力模型。我即将出版的新书《精益数据方法论 - 数据驱动的数字化转型》里,有这七大能力模型的详细解释以及成熟度评估模型。
既然数字化转型指的是企业在数字时代的整体转型,那么如何打造数字化企业?如何让数据驱动企业?
当所有的企业都从生产、加工数据中获得价值的时候,我们就可以把这个企业类比于制造业。制造业是有非常成熟的方法论的,那就是精益思想。我将精益思想和数字化转型结合,形成了精益数据方法论,其中有一个精益花瓣模型,就能够比较清楚的说明企业数字化转型的过程。
企业的业务、数据和技术看做是三个圆,随着企业数字化转型的深入,这三个圆慢慢融合成一个圈,也就成为了数字化企业。
精益数据花瓣模型还包含了企业数字化转型的路径,换句话说,就是企业要怎样去识别价值场景。目前,令很多企业领导头疼的是:企业有这么多数据,但是看上去现在数据没有发挥价值,除了给我带来成本之外。如何让数据发挥价值,如何去识别场景,如何去构建符合企业的技术能力。
前面提到,精益思想带来了 制造业 的飞速发展,同样,数据领域也可以采用精益思想的四大原则:
Value:数据要产生业务价值。
Flow:高速数据价值流。当企业找到业务价值以后,从原材料到产品之间需要构建一条通道,让这个通道快速地流转起来,才能实现业务价值。比如,不论是 DataOps,还是 AiOps,都是为了让数据产品的生命周期流动更快。
Pull:按需生产。不要在用户不需要的时候生产数据,很多报表放在那里,用户不使用就是浪费资源。
Perfection:持续改进。
在数字化转型模型的基础之上我总结了一套方法论,叫精益数据方法论,主要是针对如何打造数据驱动企业的。其中包括精益数据战略、精益数据治理、精益数据协同、精益数据产品以及数据中台和数据驱动的组织文化,持续改进。
最后的企业数字化转型的核心还是要落到组织文化上,因为提升数字化的素养和能力是打造数据驱动企业的必备能力。
企业的数字化转型是一个非常体系化的工作,要从战略,组织,流程,业务,技术等全方位,系统化推进,其中最重要的就是要充分利用数据的力量。而利用数据的核心是要产生价值,和消除浪费也就是提质增效,大家可以关注一下我即将出版的新书《精益数据方法论 - 数据驱动的数字化转型》。
点击底部阅读原文访问 InfoQ 官网,获取更多精彩内容!
“不搞职级、人人平等” 25 年后行不通了?Netflix 破天荒引入细分职级:气走老员工
英伟达回应“对中国断供部分高端 GPU”;月薪 3.6 万工程师日均写 7 行代码被开;12 年黑进 40 多家金融机构老板赚百万获刑 |Q 资讯
《中国卓越技术团队访谈录》(2022 年第三季)精选了阿里达摩院数据库、得物、华润云、民生保险、众安保险、字节跳动 AppInfra 等技术团队在技术落地、团队建设方面的实践经验及心得体会。
《中国卓越技术团队访谈录》是 InfoQ 打造的重磅内容产品,以各个国内优秀企业的 IT 技术团队为线索策划系列采访,希望向外界传递杰出技术团队的做事方法 / 技术实践,让开发者了解他们的知识积累、技术演进、产品锤炼与团队文化等,并从中获得有价值的见解。
访谈录现开放长期报名通道,如果你身处传统企业经历了数字化转型变革,或者正在互联网公司进行创新技术的研发,并希望 InfoQ 可以关注和采访你所在的技术团队,可以添加微信:caifangfang_wechat,请注明来意及公司名称。