来源:华为云计算技术有限公司和中国信息通信研究院云计算与大数据研究所 云原生的本意是指应用“生于云,长于云”,“原生”要求应用或服务从一开始就基于云架构来设计和构建。早在容器技术流行之前,Netflix这样的互联网公司就已经在实践云原生的技术和应用构建方式,云原生数据库基于这个理念应运而生。 云原生数据库是指为云架构而设计和构建的数据库,云架构场景下要求有更高的扩展性、多租户、分布式部署等能力。 随着信息技术的飞速发展以及智能终端的不断普及,全球数据量呈现爆发式增长,数据库作为支撑数据处理的核心技术需要不断创新变革。云原生数据库能够充分结合云基础设施的优势能力和特点构建数据处理和管理能力,使得企业数据管理模式迈入新台阶。 日前,华为云与中国信通院云计算与大数据研究所共同发布了业界首个《云原生数据库白皮书》。白皮书首先阐述了云原生数据库的发展趋势与现状,之后从云原生数据库应用场景、技术架构、关键技术以及不同场景下的生产实践详细地介绍了云原生数据库的技术模式,最后通过结合当前应用现状及问题,指明了未来云原生数据库的技术方向,力求梳理云原生数据库全流程概念及方法。
概念源于国外,国内发展迅猛
云原生数据库起源于 Amazon,随之受到国内厂商的广泛关注。 以华为云、阿里云、腾讯云等为代表的头部厂商投入大量资源进行研发。仅三年左右的时间,市场已经形成较为成熟的云原生数据库应用模式并应用在不同的场景中。 根据中国信息通信研究院面向国内企业的调研,受访组织认为云原生数据库领域较有影响力的厂商和产品排名前四位的分别是华为云 GaussDB、阿里云 PolarDB、腾讯云 TDSQL-C 以及 AWS 的 Aurora。 可以看出,国产云原生数据库虽然起步较国外稍晚,但在国内的发展迅猛,影响力已逐步超过国外云原生数据库。 云原生数据库的应用场景广泛,使用方式多样。信通院对云数据库的使用者进行调研后发现,云原生数据库的使用者行业分布广泛,其中来自互联网行业的占比 55.4% ,这里面包含了互联网电商、社交文娱、计算机软件、信息技术服务等多个细分行业。 互联网一直是走在信息化前沿的行业,也是率先使用云原生数据库的领域。互联网的主要特点有:业务快速更新迭代、应用场景变化多样、重视企业运营成本。因此,企业在进行选型时较看重云原生数据库的扩展性、易用性和运维运营成本。 据中国信通院调研,使用云原生数据库的企业 2021 年在数据库上投入的资金从 50 万左右到 500 万以上不等,企业人数从 10 到 10 万人以上均有,以上可以看出云原生数据库适用于不同规模的企业。其智能运维、性能优越的特性受到大型企业的追捧;其弹性伸缩、按需计费的特性也使得小型企业能够按需使用,降低运营成本。 尚未使用云原生数据库的企业中,25% 以上的企业是由于对于云原生数据库不够了解。相关技术企业在完善云原生数据库产品的同时仍需在宣传方面加大投入力度,使得云原生数据库获得更多的市场认可。 云原生数据库迈向新时代
随着市场需求的升级和技术的成熟,云原生 2.0 的时代已经到来。企业智能升级进入新的阶段,企业云化从“ON Cloud”走向“IN Cloud”, “以资源为中心”演进到“以应用为中心”。 以应用为中心的云原生数据库,不再是简单的资源供给,在架构和技术能力上要能感知应用特征,一切设计围绕应用出发,让应用能更智能、更高效地使用数据库,构建敏捷智能的企业数字化业务。云原生 2.0 应用驱动数据库从资源为中心到应用为中心,从地域为中心到流量为中心,从负载为中心到数据为中心,能够从以下方面为企业带来新的价值: **一是弹性成本。**通过多层级的资源弹性以及与之匹配的多样化的计费模式,实现真正的按需使用。 **二是安全可靠易扩展。**结合云平台的高可用和规模化能力,保障企业应用的安全运行,支撑业务快速增长。 **三是降低企业使用门槛。**通过架构上、技术上的融合创新,让应用在架构设计、业务处理、业务切换、运维监控等方面完全透明,提升业务应用的敏捷程度,一站式数据处理,满足企业多元化需求。 云原生数据库市场潜力可观
据中国信通院统计分析,2021年,中国公有云数据库市场规模为144.59亿元,较2020年增速34.3%,预计到2025年,中国公有云数据库市场总规模将达到503.31亿元。 Gartner预测,到2025年,基于云原生平台的数字化业务比例将达到95%,将带来云原生数据库市场的快速增长。云原生数据库将成为云上数据库使用的标准范式。
据中国信通院统计,在受访的企业中,57.9%的企业会考虑使用云原生数据库并将其应用到主要业务系统中去。80%以上的企业认为云原生数据库是未来的发展方向,也有受访者认为在某些场景上还需要一些时间。 云原生数据库和传统数据库云服务的形式在未来一段时间会是并存的关系。但是,随着数据库与云计算技术的不断发展,云原生数据库因其智能运维、弹性伸缩及安全稳定等特性,在企业核心业务和高负载场景下的占比会逐渐增加,从而成为企业数据库使用的标准范式。 云原生数据库技术发展趋势
(一)内存池化,全栈解耦,追求极致的弹性伸缩
在架构上云原生数据库要实现内存池化和全栈解耦。当前主流商用的云原生数据库都完成了计算层和存储层的解耦,接下来计算资源层中算力与内存也会解耦,计算能力池化、内存容量池化、存储能力池化,达到“计算 - 内存 - 外存”三层资源彻底解耦可分别进行弹性热伸缩。 (二)基于内存池的 HTAP,释放软硬协同的潜能
将内存池技术和 HTAP 结合是其中一个趋势。云原生数据库在 OLTP 和 OLAP 能力融合的基础上,未来更进一步结合内存池软硬协同,实现网络吞吐的大幅度缩减,同时也将内存池的性能优势发挥到极致。 (三)智能弹性,实现更细粒度、更精准的资源调度
Serverless 数据库未来还需要具备智能弹性的能力,能够根据用户的历史负载计算出用户画像,快速判断未来的负载曲线,提前为弹性伸缩准备好资源,避免负载冲击到资源规格上限,减少系统资源浪费,追求更极致的弹性。 (四)全场景智能数据库,发挥 AI 与数据库的融合价值
未来,云原生数据库将持续与 AI 内外协作,向全场景智能数据库迈进。全场景智能数据库包含两个方面:一是 AI for DB,让数据库管理更加智能高效。具备自检测、自诊断、自调优、自运维及自安全的能力,覆盖数据库全生命周期的管理与优化。二是 DB for AI,提供库内 AI 引擎。库内全流程 AI 框架,数据不出库,端到端完成数据清洗、 特征工程、模型选择和模型训练,安全可靠、简单高效;库内原生支持常用 AI 算子,满足绝大部分机器学习使用场景。 (五)结合全密态和防篡改技术,保障云上数据安全
全密态数据库通过支持密文形态下的数据查询和计算,使得攻击者在获取内存数据后仍然无法解析出有效的明文信息,更重要的是,数据加解密所需的密钥均由最终用户持有,可以有效地解决第三方信任问题。
具体内容如下