对于存储这个古老的行业,唯有不断创新、坚持投入,才可能酿出时间的美酒。
即使不了解云,但在刚刚过去的618里,你或许会注意到,以往下单“卡机”、加载页面等待漫长的情况似乎已经减少了许多。
支撑着数亿消费者点下“支付”的那一刻,是云计算的典型应用场景——成千上万的服务器算力被瞬时调用起来,连接着银行、电商平台、消费者,保证所有计算任务都能够顺利完成。
而如今,除了电商,越来越多的场景需要巨量算力:移动支付、游戏、影视……底层云计算技术的进步,让天马行空的许多想象得以在互联网中实现。
打造这个理想世界如同长征,云计算技术发展的千里之行,也是始于足下。
从“搬上云”到“长于云”
过去十年中,互联网由PC时代、移动时代再到如今的5G时代,浪潮背后,离不开云计算技术的普及和快速发展。
互联网的本质就是一场技术“普惠”运动。在移动互联网时代,人们常将互联网分为上半场和下半场。在上半场,手机终端的普及带来了移动互联网的繁荣,真正做到了让技术普及到每个普通人身上。
而在底层,云计算技术也在同步完成革新,让算力真正实现普惠。
云计算于2006年被提出,在发展的第一个十年里经历了从无到有的高速增长。以往,企业基础设施的初期建设成本、电费、运营和网络维护都是不菲的支出。但有了云计算后,即使是初出茅庐的小企业,也能够拥有和大企业一样的计算能力,将业务“搬上云”。
随着时间的推移,移动互联网完成人与人的单点连接后,接力棒交给下半场——产业数字化转型。以Docker为代表的容器技术在2013年左右开始普及,这相当于让云计算来到了2.0阶段,企业从将业务“搬上云”到业务“长于云”。
而2020年开始的疫情加速了数字化转型的一切进程。“疫情,可以说让企业数字化转型进程加速起码5年。”一位数字化转型服务商曾对36氪表示。
在后疫情时代,Web3.0、5G等新技术继续风风火火地落地,人们开始畅想更加自由而有趣的虚拟世界,在这背后需要强有力的AI、大数据技术的支持。产业互联网转型也将更加深入,无论是金融、制造,还是能源等传统行业,都在经历一场十年未有之大变革——算力更为陡峭的成长曲线,几乎已经成为必然。
技术革新的速度还会更快,这对云上的“基础设施”而言,也是一场真金淬火的试炼。
从PC时代到现在的5G时代,云计算在互联网普及上发挥着不可或缺的作用。回溯这段波澜壮阔的时期,也正是国内厂商踏上自研之路,攀登技术天梯的十年。
南京鹏云网络科技有限公司(以下简称:鹏云网络)就是攀登这一天梯的团队之一。从成立到现在,鹏云网络走过的十年,也伴随着云计算市场从拓荒期走向繁荣期。
鹏云网络创始人兼CEO陈靓正带着团队,在南京开始存储软件的研发。在一个架构的问题上,陈靓和团队苦恼了整整一个月——每一天,大家都待在一起,讨论该如何设计产品架构,但都不得其法。
“如果当时这个问题没有解决,感觉是真的走不下去了,最后的灵感迸发,都建立在前期无数的探索之中。”陈靓对36氪回忆道。
一个月后的某个清晨,陈靓在炎热中醒来,灵光闪现。小跑赶到公司后,他打开电脑写下思路,经过团队讨论,架构问题终于顺利得到解决。在鹏云网络团队研发产品期间,类似这样量变达到质变的时刻,并不在少数。
创立鹏云网络之前,陈靓在美国学习工作多年,曾就职于贝尔实验室、亚马逊等全球知名企业,在亚马逊 AWS 长期担任核心架构师,带领团队进行 S3 云存储系统深度优化,并主持 Glacier 存储系统的设计和研发。
当时,国外云计算市场发展得蒸蒸日上。反观国内,随着互联网的发展,市场上已存在海量数据,但存储却还处于早期,这让陈靓动起了回国创业的念头。
2013年,云计算圈子里一句流行的话是“云在天上飘”。大家都清楚这是未来的技术趋势,但是都在摸索如何能让云落地,无论是技术还是人才,国内市场都还处在拓荒阶段。不过,回国后遇到的困难,还是远超陈靓团队的想象。
“存储系统属于基础软件,研发周期长、难度大,这就导致自主研发并不是大多数人敢走的路。”陈靓说到。2014年开始,在国内云存储赛道中,出现了不少选择开源路线的公司,但这并没有动摇鹏云网络自主研发的战略。陈靓表示,坚定自主研发,主要是因为看见过国外存储系统所走过的历程——早在10年前,国外的互联网大公司在底层存储产品上几乎都是自研。
而陈靓在AWS工作期间,就已经意识到开源路线当时所存在的许多局限性。更重要的还在于国内外截然不同的市场属性、企业文化、政策等许多因素,注定国内客户在采购云这件事情上,会更考虑稳定可靠、自主可控。
从公司成立到研发出稳定、能商用的第一款云存储产品,鹏云网络用了四年。自主架构让产品更稳定,在性能上基本是当时同类产品的2~5倍。“当时团队的感觉,就是从至暗时刻,到突然看到巨大的光明未来。”陈靓说到。
发展至今,鹏云网络已自主研发出ZettaStor系列存储产品,其中包含了统一文件服务平台FileCloud、分布式块存储系统DBS、分布式对象存储系统DOS等多个产品。在商业落地上,鹏云网络也参考国内市场现状,快速进行布局。目前,鹏云网络已经服务了20多个重点行业,超过200多家重点客户。
鹏云网络生态场景服务
这期间,用户的用云需求也在不断变化。2018年开始,To C端短视频等风口涌现,大量异构数据需要存储,还有B端的产业数字化转型,带来的是巨量的算力需求。需求的变化,促使云计算产业快速革新,云计算从此步入云原生时代。
简单而言,云原生是以容器、微服务、DevOps等技术为基础建立的一套云技术产品体系,在云原生架构下,可充分发挥弹性和分布式优势,实现快速部署、按需伸缩、不停机交付等。可以说,云原生技术引领了云计算未来的方向。
陈靓敏锐地捕捉到,云原生技术将为云计算带来颠覆性的改变。2020年开始,陈靓就带领团队,投入到云原生存储的研发中。
当下,国内大多数厂商做云原生存储的一大路线,是将上一代的分布式存储进行改造。但由于改造的存储系统不是真正的云原生存储,无法发挥出容器灵活、扁平、轻量的特点,在性能上多有限制。云原生基金会(CNCF)的报告也指出,存储已成为云原生技术能否持续发展的主要挑战之一。
陈靓表示,运用云原生技术的企业通常把数据放在本地存储上,而云原生灵活的特性导致微服务会随时在不同服务器间跳动,当微服务跳动时,存储在本地的数据就无法被访问了。相对于本地存储的不可靠性,分布式存储可以很好的弥补这一劣势,但分布式存储的性能又没有本地存储高。所以,如何统一本地和分布式的数据存储架构,充分发挥两者的优势,成为了云原生存储的痛点。
针对这一痛点,鹏云网络认为需要完全构造一个新的云原生存储系统,将不同的存储架构统一管理起来,而不是用传统分布式存储的产品形态。
多年分布式存储自研所带来的技术沉淀,是鹏云网络敢于创新的底气所在。历经1年多的自主研发,鹏云网络云原生存储产品ZettaStor HASP(以下简称:HASP)于2022年1月正式发布。
HASP相当于在不同的数据存储系统之上,搭建了一层高性能管理平台。由于架构都是自主研发,HASP能对数据存储形态做全新定义,实现数据本地存储与多种不同存储类型(包括公有云的存储)之间的读写交互,让跨异构存储资源的数据自由流动。
此外,HASP通过提供标准的Linux文件系统接口,为云原生应用屏蔽了不同数据存储系统的差异。在使用时,用户最直观的感知是,只需在一个标准的文件系统之上进行操作,对底层数据存储系统的使用不感知。
数据在云上的移动更为灵活,这对底层存储的性能要求也会更高。陈靓表示,选择何种文件系统对HASP的性能有直接的影响。
“在HASP研发初期,我们对市面上所有的开源文件系统进行了调研,发现没有一款能充分发挥NVMe SSD/SCM/PM等高速存储介质的性能,所以我们决定,自研一个高性能文件系统引擎,单就该文件系统而言,可申请的专利就达近50项。”陈靓向36氪介绍到。
在使用了自研的文件系统后,HASP能够将数据存储的性能提升三倍,同时还能节省存储资源,保证体验不下降。
陈靓以金融行业举例。许多金融机构对业务的稳定性有极高要求,为了保证数据安全,会产生大量的冗余——也就是足够多的备份。一份缓存日志数据进入系统后,首先经过中间件,再落到最底层的存储系统中,每经过一层,数据都将备份。但HASP通过将底层的不同存储系统统一管理起来,可以减少数据冗余,这样在保证了数据可靠性的同时又能提供更高的性能。现在,HASP已经在鹏云网络现有的金融客户中进行使用。
十年的技术积累,让鹏云网络在云原生时代大规模爆发之际,拿到了一张提前的门票。
2010年的中国IT领袖峰会上,曾有一场里程碑式的讨论,马云、马化腾和李彦宏都对云计算发表了自己的看法。其他两位均对云计算技术持保守态度,但马云直言:“这是客户需要,如果阿里不做云计算,将来会死掉。”
如今,中国的技术发展也来到这一当口。只不过,关键词要换成“自主可控”。
早在2019年,国务院发展中心《中国云产业发展白皮书》就重点指出,到2023年,我国政府和企业上云率将超过60%,全栈自主可控云计算平台将成为政府和大型企业的主流IT基础设施。同时,我国云产业链长期存在着核心技术自主研发程度较低,创新、应用生态系统建设滞后的突出问题。
三年过去,“自主可控”更加箭在弦上。现在的数据,无论是所有权、存储、运输,都成为国家安全的重中之重。所有人都能感受到近两年的风向变化——疫情、国际关系、经济动荡……
今年3月,Figma断供等事件也重重敲击着行业——喊了多年的“去IOE”,国内的软件公司,准备好承接这一切了吗?在未来越来越难以捉摸的时候,能抓住的只有当下。自上层政策到具体落地,中国云产业的大船正在缓缓转向。
“如今客户侧的态度有明显变化,自主可控的意识自不必说,更重要的是客户的辨识度也在迅速提升。”陈靓对36氪介绍。
尤其在中高端市场,鹏云网络逐渐感受到客户对自主架构“更懂行”,更注重系统稳定性以及产品架构是否真的由厂商自主研发,如果不是,会大大影响客户的采购意愿。
陈靓认为,中国云计算10年发展的进步,让鹏云网络来到一个爆发前的节点。
鹏云网络已经为未来做好准备。目前,鹏云网络完成了覆盖国产软件全产业链的适配,包括飞腾、兆芯、龙芯、申威等芯片,麒麟、UOS等操作系统。“国内的云市场将会走出和国外非常不一样的道路——在公有云发展多年后,如今对‘自主可控’的要求,会让正在转型的大量企业考虑混合云、私有云架构,这对存储产品的性能要求更高,也是鹏云网络瞄准的未来机遇。”陈靓表示。
同时,算力的提升,也为经济发展提供强大助力。今年3月,由IDC、浪潮信息、清华大学全球产业研究院联合编制的报告显示,计算力指数平均每提高1点,数字经济和GDP将分别增长3.5‰和1.8‰。
可以想象,鹏云网络新推出的云原生存储产品ZettaStor HASP,正勾画出一幅未来云计算的蓝图。
随着监管变化、数据挖掘和应用革新,企业更强调对数据的掌控,数据的生命周期被拉得更长,数据的基础设施正在被重构。鹏云网络的产品,能够让数据灵活地在云间迁移,同时做到性能与稳定并存。在金融、制造、能源等无数正在经历数字化转型的行业里,数据将焕发出无穷的生命力。
征途无疑是遥远的。上世纪的Oracle于1977年成立,耗时超过30年才奠定在数据库领域的巨头地位;而1979年成立的EMC,也经历了十年左右的发展才打破IBM的一家独大。对于存储这个古老的行业,唯有不断创新、坚持投入,才可能酿出时间的美酒。
在云计算的下一个十年,赛点变成“自主可控”,对所有国产厂商而言,这都是一场耐力赛。