开源的底色，易观数科的诞生

2020 年 11 月 3 日 InfoQ

作者 | 万佳

2020 年，疫情的出现，不仅让人们正常的生活和工作状态经常被打断和改变，而且人类未来可能要学会与疫情常态化共存。疫情的出现也加速了国内企业的数字化进程，比如，企业原来的营销方式主要靠线下，但疫情的常态化迫使企业更多依赖数字化的方式。

在数字化进程加速的当下，互联网也已经从流量时代进入留量时代。流量时代是一个增量时代，“互联网的渗透率还未饱和，还有人口红利，大家总觉得永远会有新用户”。而留量时代则是一个存量时代，几乎没有新的增量。两者最大的变化在于“老的流量时代是一个增量思维，新的留量时代是一个存量思维”。易观 CEO 于揚表示，“在新的留量时代，对每个企业而言，如何构建和运营好自己的核心数字用户资产，我觉得这是最大的挑战，也是最大的机会。”因此，对易观来说，当前最主要的是用好数据，帮企业解决问题，抓住机会。而过去，它们只是帮企业发现问题，指出行业发展趋势。

在 10 月 23 日的“A10 数据智能峰会”上，易观战略全新升级，正式公布两大业务线：聚焦数字用户洞察的易观分析，专注智能用户运营的易观数科。简言之，易观分析是帮企业发现问题，指出发展趋势，而易观数科则是帮企业解决问题，抓住机会。易观 CEO 于揚表示，“易观的使命是让数据能力平民化。易观数科更希望通过技术、产品和解决方案来赋能企业，提供工具和优质服务，再加上客户至上的服务态度去帮助客户在数字化升级中做好数据驱动。”

从帮助企业发现问题到帮企业解决问题，这对易观数科来说是个不小的挑战！

如何跨越技术关？

易观大数据成立于 2012 年，虽然从成立第一天起，就是一个产品和技术驱动的科技公司，当时的主要业务还是业务咨询和行业分析。因此真正去帮企业解决问题时，你要跟客户的业务流程和业务系统打通第一个挑战就是技术。对于这个话题，郭炜是最有话语权的。他 2016 年加入易观，此时易观主要做业务咨询和行业分析。

当时，易观有一款分析产品，叫易观千帆。它通过与众多数据合作伙伴的合作，构建了基于统计算法的大数据分析平台，分析 APP 用户活跃度。据郭炜介绍，易观千帆最初月活只有 1000 多万，但业务发展快，数据量快速增加，很快逼近两亿。而此时，公司的技术状况“堪忧”，总共有 30 多个技术人员，产品主要依赖阿里云，使用 Apache Hadoop。但是，问题在于整个 Apache Hadoop 生态的技术门槛很深，“很多东西要花两三个月修改，才能把它做好”。他说：“我们当时在 Apache Azkaban 上有几千个任务，经常在晚上死掉，我们被折磨得不行了，后来开始自研。”

总之，平台非常不稳定，不仅宕机，还老出各种问题。

“天天加班，回不了家，好不容易回了家，任务在半夜又挂了。那时，我天天晚上三四点被叫起来处理问题，没法睡觉。”郭炜补充说。以至于，团队用上自研的 Apache DolphinScheduler 后流行几句话——工具选得好，下班回家早；调度用得对，半夜安全睡。

刚到易观的第 6 个月，郭炜过生日，“这一天，老于（于揚）把我叫到办公室，说你来了六个月，很感谢你的工作，但你看我们现在这个平台还是不稳定”。

技术团队感觉压力非常大，为了改善现状，做了这么几件事。

首先，对 30 多人的技术团队进行大幅调整，只剩 8 个人，然后，进行了团队重组。“有时候，团队成员还不够快，有的技术人员跟不上，就需要重新调整团队”。

其次，在技术路线上，始终坚持 Apache 生态。在郭炜看来，当时的技术路线第一是拥抱开源，拥抱 Apache 生态。他说：“Apache 的东西跑起来不行，当然，你也可以用商业版，比如 Cloudera，用完就能解决问题，但有两个问题：一是它有商业版权，如果要用，需要付费；另一个是与我们公司的理念相冲突，我觉得拥抱开源才能进一步提升我们自己的技术人员能力。”并且，在他刚到易观时，公司主业还是业务咨询和行业分析，因此如何积累自己的技术能力和技术实力也就成为郭炜考虑的重要因素。

因此，易观技术团队不仅基于 Apache Hadoop 生态研发了一些性能优化的东西，而且自研了 Apache DolphinScheduler。这样，平台的性能和稳定性得到不断提高，为现在的技术平台奠定了基础。

随着团队技术人员成长了起来，而且积累了不错的技术实力，这才有易观现在的技术，易观数科才有可能出现。同时，为打造更稳定、更可靠的平台，易观也从公有云转向混合云。

2015 年到 2016 年时，易观使用公有云（阿里云）。后来，易观开始采用混合云，”把它变成实体机，用 Apache 的框架给跑起来，用了 Pivotal Greenplum，加上 Hadoop 去解决一些业务上的问题”。在这一年，易观先后迁移了两次：

先从阿里云迁到自建的混合云，他们找到一家供应商，买了一根光纤，从阿里云连到 UCloud。后来，UCloud 推出自己的混合云，易观租用它的机房，将自己的机器搬进去，又做了一次迁移。两次迁移结束后，平台基本稳定下来，“一直到现在，6.8PB 大数据平台都在 UCloud 的混合云里”。郭炜对 InfoQ 记者指出，易观这样既可以使用公有云的弹性扩展能力，也能充分利用物理机的稳定性。

迁移两次，虽然问题不少，但是也锻炼了团队，把易观数科的技术做起来了，“我们做的 Hadoop 集群非常稳定”。正是各种踩坑和磨练，让易观数科逐渐积累起自己强大的技术能力。易观数科的核心技术能力源自易观的大数据平台，6.8PB 大数据平台中大量的计算引擎的优化，大量的调度，还有从中孵化出的 Apache DolphinScheduler。“把原来内部使用的技术，以产品的形式打包，变成一种商业化的产品，比如易观方舟，最终赋能我们的用户“。

对易观而言，这只是迈过了技术关。接下来，他们需要把自己对业务的理解和技术相结合变成客户能使用的产品，因此易观数科需要跨越产品关。这就带来两大挑战：第一，私有化部署。很多人在过去认为大数据平台越大越好，但是，一旦到了私有化部署，优化的方向就有所不同。实际上，这个技术门槛挺高。“我们做到了，但很多友商费了半天劲也没做出来，因为这不仅要对底层横向的平台进行优化，而且对计算的性能要求很高”。

第二，适配场景。易观原来的产品主要供内部的数据分析师使用，场景比较固定。但是，当产品向外提供，如何去支撑客户的业务场景？据郭炜介绍，他们通过产品抽象出 12 大模型，赋能客户。“最开始，我们调研了一圈，提出一个很重要的架构，叫 IOTA 架构”。从 IOTA 架构中，从里面核心抽象出三个主要数据模型，被称之为主谓宾模型，即主语、谓语和宾语。基于这些模型，去适配易观跟用户相关的所有场景，“它是通用的”。基于模型之外，根据客户的需求去适配，系统将客户的场景归到哪一种或模块下。“如果都不合适，我们再新建一个模块去适配它。当然，我们的模型也会变，有时候增，有时候减，逐步去适配我们客户的使用”。

最重要的一点是易观数科有着开源和云化的基因，因此产品的开放性很高。据悉，某头部股份制商业银行使用易观数科的产品，融合到系统中非常顺利，受到双方一致好评。郭炜称，“我们的最终目标是赋能客户，即把我们的系统融合成客户系统的一部分，赋能客户的业务部门，一起把这个事做好。”

更懂业务

当然，仅仅过了技术关和产品关还不够，还差落地。怎样把技术、产品与服务相结合，应用到行业客户的业务场景中，真正解决客户的业务问题，这是关键。“最终，只有解决了业务问题才是王道”。

易观 CEO 于揚认为，“我们相信，不会是普适性的产品，不会仅有技术就能解决客户的业务问题，一定是技术、产品加上服务组成的解决方案，来解决客户的业务问题。”在行业解决方案上，易观有一个很大的优势——易观分析多年来深耕行业的数字化。“这给我们第二个业务品牌——易观数科在行业解决方案上提供了很好的助力”。

换句话说，易观数科有先进的技术和产品能力，加上易观分析多年来对行业业务场景的洞察，最后可以帮助易观数科拿出更好的行业解决方案，去真正解决客户的痛点。

简言之，易观数科更懂业务。

十几年的行业咨询和分析，让易观对行业客户有着深入的理解。以银行为例，银行的信用卡业务一直有个难点：有信用卡的人很多，但是信用卡的活跃度不高。显然，在今天移动支付无所不在的情况下，信用卡已经退到支付的后面，微信和支付宝成为人们的首选支付工具。

那怎样让消费者在这些支付场景中想到绑定某个银行的信用卡？对银行而言，它们首先要接入更多的场景，比如餐饮、娱乐、机酒火车、商城、生活缴费等。其次，银行需要深度运营这些场景。

于揚说：“易观有一套解决方案，可以通过多场景、持续不断的深入运营，让银行卡的用户有更多的激活，更多的人使用信用卡，这对银行的信用卡业务就意味着更多的收入。”

对酒店来说，今年受疫情冲击比较大，不仅商旅出差减少，而且大型会议活动几乎全部停止。但是，酒店历史上有大量的用户和客户的数据，怎么通过数字化的方式把沉淀在酒店 CRM 系统中的客户数据激活，让用户重新与酒店发生关系。这就显得极其重要。

“这个又能用到易观数科的智能用户运营。首先，你要建立一个数字触点，把这些数据采集回来，再跟后台的 CRM 数据拉通，判断哪些客人历史上是高价值客人。有没有可能在公域把它激活，持续的推出一些活动，比如婚宴、生日宴和亲子活动等。甚至跟当地的景点搞一些短途 / 主题旅行，激活酒店的住宿和餐饮。“他说。

无论是信用卡，还是酒店，现在各行各业的核心都是怎么更好的促活，更好的增加黏性，怎样提升复购，延伸用户生命周期。

据悉，除了银行和酒店，易观还有不少的快消品客户，比如相宜本草。“同样是促活，不同的行业，它的解决方案是不一样的”。银行的信用卡怎么促活？酒店怎么促活？化妆品怎么促活？...... 实际上，这都需要针对性的解决方案。于揚表示，“这又发挥了易观历史上的优势，即我们更懂业务。同时，我们的咨询和分析团队，可以跟产品结合在一起提供优质的服务。”

更懂业务的调性，加上开源的技术路线，让易观的解决方案能发挥更大的价值。业务要落成产品，它要求这个技术有很高的开放性。它要能快速适配，比如汽车和金融，这是两个完全不同的行业，“可能产品形态都不同，但我们只有一个产品团队，怎么更好的适配它们。因为我们有开放的组件、开放的 API，因此可以快速组装一些小模块去适配不同的行业解决方案。”郭炜说。

在他看来，只有懂行业才能更好的落地，才能有的放矢。“尤其是技术类的纯算法，它没有办法去解决业务问题，它一定是在某个固定的场景中，对行业有了深入了解，才能发挥算法的作用”。

开源的技术路线，开放的心态

2016 年，于揚花了 6 个月的时间通过各种角度和郭炜沟通，最终达成几个共识：开源、云化和生态，并请郭炜加盟易观担任 CTO。某种意义上，开源是于揚和郭炜共同的信仰。他们有一种观念：不认为商业软件是应该蓬勃发展的，反而坚信开源这种“我为人人、人人为我”的精神。

在面对开源和闭源的两种技术路线时，于揚和郭炜坚定地选择了开源，“我们坚定地认为开源是一个更有扩展性、更有连接性和更有生态包容性的一个方向”。特别是当今地缘政治冲突的背景下，基于开源生态的自主、安全、可控的云服务，不仅对国家安全至关重要，也对行业客户的风险控制至关重要。试想，如果采用了闭源的不友好国家的商业组件，我们将如何避免断供、停更、数据泄露、后门操控这些风险呢？

今天，易观数科的开源生态正在茁壮成长，社区和开发者群体不断壮大，Argo、DolphinSchedulur 等产品的开发者，累计已超过一万人。

据易观数科介绍，如今的 Apache DolphinScheduler 社区有近三千五百人，Argo 社区也有一千五百人，使用 DolphinScheduler 的企业接近 400 家，使用 Argo 的企业也有 200 多家。并且，DolphinScheduler 已经成为 Apache 基金会孵化器项目，预计明年年初从 Apache 毕业。

郭炜说：“我们有两个技术基本价值观：一是开源，二是云化。一直到现在，团队规模变这么大，我们还是这两个价值观。我们的使命是让数据能力平民化，我们会在里面投入很多的精力，通过开源或免费的方式让大家用起来。”

郭炜强调，自己非常坚信 Apache 的这种开源生态，“我们做完后，愿意把我的东西贡献出去，开源出去，贡献给社区，比如 Apache DolphinScheduler“。这里还有一个小故事，有一天郭炜找到于揚说，我们如果开源的话，所有的代码都要贡献给基金会，毕竟这是公司花费很多成本开发的，我们是否想清楚了。于揚看着郭炜的眼睛说：“虽然我们还没想清楚如何变现，但这个方向还是我们一直坚持的，咱就这么干吧“。这是一种信仰。

实际上，在拥抱 Apache 生态的过程中，易观数科的技术团队也是受益匪浅。比如，在开发流程上，国际上的开发流程，“像 Code Review、自动化的 CI/CD 跟我们不一样。原来，我们的开发流程比较粗糙一些，这就过不了 Apache 的流程”。于是，易观数科的技术团队按照 Apache 的流程实施，并要求其他项目也跟 Apache 的流程靠齐。举个例子，在做 Code Review 时，有很多国外技术专家替易观的技术人员 Review 一些代码，这给他们带来很大的提升。“我觉得开源的好处之一是让你的团队快速和国际大牛的团队去接轨，你贡献这些代码，再经过大牛的打磨，这让你的团队能快速成长，得到快速提高”。

对郭炜而言，接下来需要进一步扩大社区，吸引更多的开发者参与进来。目前，Apache DolphinScheduler 社区已经进入一个比较良性的自发展阶段。它现在的每个版本大概有 30%-40% 的功能都不是易观开发出来的，是由社区其他成员贡献出来的。而谈到易观 Argo，他想让用户能更快地上手。打个比方，Argo 产品有点像高射炮，但一般用户的目标是打蚊子，所以上手有点重。郭炜表示，后续会从产品功能迭代上降低其上手难度，调一调产品调性，让它更加平民化，比如通过文档、视频和案例的方式，再加上运营的手段。

写在最后

从业务咨询分析、行业分析再到智能运营的产品和技术及解决方案，易观一直在进化。而易观数科的出现，则让进化之路更清晰：帮助企业建立以数字用户资产为核心的数字化商业能力，通过深耕行业场景的智能用户运营的解决方案，助力企业快速实现面向用户的数字化升级。