行业界定:大数据分析平台逐渐由产品态转向集成态,行业边界模糊。在技术架构上,主要包含数据采集与存储、计算、分析与决策三个层级。在OLAP之上融合了深度学习等技术,在提升数据分析深度和广度的同时,也极大增加了数据服务在业务侧的低门槛和友好性,满足用户运用数据分析驱动业务发展的需求。 市场情况:尽管行业边界泛化,市场参与者众多,但按照部署模式、架构分类及能力补给,可分为以下五类:1)以云上数据湖方案为主的公有云厂商;2)以本地化大数据分析平台为主的传统软件服务商;3)提供轻量化数仓架构的数据库/数仓厂商;4)为数据应用层提供服务能力的软件供应商;5)提升数据应用能力的人工智能厂商。行业市场整体呈现竞合状态。
架构选型:搭建平台前用户首先需要明确自身的数据体量和业务场景需求。在明确大数据分析平台需要具备的基本功能后,再决定平台搭建过程中使用的大数据处理框架和工具。在分层架构中,数据分析层的组件选型和整体搭建十分关键,尤其是存储引擎的选型直接决定了离线、在线、实时三大场景的支撑和算力效率的高低。 趋势洞察:传统架构下的湖仓分体引发数据孤岛,造成实施、运维和成本问题。湖仓一体架构在数据和查询层面形成一体化架构,突破实时性和并发度、集群规模受限、非结构化数据无法整合、建模路径冗长、数据一致性弱等瓶颈。同时,平台融合AI自主学习和自适应能力,增强用数人员的分析和决策能力。