9 月 24 日,年度盛典 StarRocks Summit Asia 2022 举行,40 多位社区成员、生态伙伴和行业专家出席分享。本次大会上,StarRocks 社区首次全方位解析 StarRocks 功法秘笈,并正式发布 StarRocks 极速数据湖分析,开启了极速统一 3.0 时代。
#01
极速统一 3.0:从 OLAP 到湖仓
本次大会上,StarRocks PMC Chair 赵纯代表社区正式发布极速统一 3.0,让用户能够在 StarRocks 上同时进行极速分析与极速数据湖分析。
经过一年的打磨,StarRocks 在 SSB单表、SSB多表、TPC-H 三个标准测试集下,相比于去年同期,性能提升 50%-80%。
在物化视图、资源隔离、Query Cache、自动化数据分布、导入优化等各个核心功能均有重大突破。
(左右滑动查看更多)
StarRocks 认为,极速数据湖分析就是为用户提供性能堪比数据仓库的数据湖分析。
从整个架构层面可以看到,当前 StarRocks 的数据湖分析已经具备了存算分离、弹性伸缩的能力。在存储层,数据支持按照 Apache Hive、 Apache Iceberg、 Apache Hudi 等主流表格式维护在对象存储之上。在计算层, 从查询生命周期来说,StarRocks 的无状态计算节点 compute node,已经可以负责从扫描到聚合的全部计算任务;当前 StarRocks 已经可以部署在 k8s 之上,感知系统负载并进行灵活的资源调度与节点伸缩,无需数据迁移,更好支持资源峰谷场景。在控制层,FE 统一接入各类主流数据湖的元数据,并对湖上查询请求进行统一调度和规划。
StarsRocks 在数据湖的工作主要分为四个维度:更开箱即用的数据接入模式,性能更加极致的分析体验,更灵活的弹性,更自由的数据分析方式。如今,用户通过 StarRocks 进行数据湖分析,一方面,能够享受存算分离、弹性伸缩等前沿技术带来的降本增效,另一方面,无需数据导入即可享受到堪比数仓分析的极速性能体验,更加敏捷地从数据湖中获取灵感和洞见,驱动业务增长。
(SSB Benchmark 场景下,StarRocks 湖分析的性能 VS 导入 StarRocks 后分析的性能)
在新的云原生架构支持下,StarRocks 会提供完全的存算分离方案来降低存储成本、提升计算弹性,支持多租户的资源隔离和数据共享能力,企业可以根据业务负载变化,灵活调整计算资源的使用,进一步降低计算资源的成本。
#02
新范式的共建
分布全球各地的用户和开发者、深入行业难题的商业力量、头部云计算厂商……各种角色的参与和共建让 StarRocks 社区不断成长壮大,助力极速统一的数据分析新范式赋能更多场景。
作为新一代数据架构的创新者,阿里云开源大数据团队深度参与 StarRocks 社区共建,在支持 Apache Hive/Apache Iceberg/Apache Hudi 数据源的全新 Connector 框架、异步 CTAS 等功能、主键模型增强、统一导入模型等方面已贡献代码数万行。
阿里云计算平台事业部产品解决方案总经理陈立在大会分享中表示:StarRocks 是阿里云在数据湖 3.0 云原生化、弹性化、实时化的重要产品之一。
如今,在 Lakehouse 分析场景下,通过 StarRocks 全面的向量化执行引擎优势、更智能的优化器,阿里云在 TPC-H 100G 的性能提升了 3-10 倍,给用户带来了更加强大的分析能力。
以人为镜,以梦为舟。
天地间的创新,正发生于开放分享的社区共同体,商业力量的参与让社区项目达到了新的高度。
目前已经有数家公司基于 StarRocks 开发出了企业级产品,致力于解决企业数字化转型最后一公里难题的镜舟就是其一。
镜舟科技 CEO 孙文现表示,有了镜舟数据库,客户有望随时随地、随心随欲地使用数据,不再担心数据源不统一、维度多了速度慢、一线分析师无法做复杂查询、相关产品之间不能兼容等问题。
本次大会上,华润万家、OPPO、中原银行、众安保险、京东物流、百草味等 30 多位重磅的企业级用户轮番上场,深入解析了金融、新经济、互联网等行业的最佳实践和发展趋势。
知行合一的数据库之路,得幸于专业技术人的洞见和贡献,方能不断进化、赋能用户。感谢各位大会嘉宾的共同建设和开放分享!
大咖交锋、最佳实践等更多峰会精彩内容,
敬请关注 StarRocks 公众号,即将陆续放送!
峰会直播回放,戳阅读原文!
关于 StarRocks
StarRocks 创立两年多来,一直专注打造世界顶级的新一代极速全场景 MPP 数据库,帮助企业建立“极速统一”的数据分析新范式,助力企业全面数字化经营。
当前已经帮助腾讯、携程、顺丰、Airbnb 、滴滴、京东、众安保险等超过 170 家大型用户构建了全新的数据分析能力,生产环境中稳定运行的 StarRocks 服务器数目达数千台。
👇 阅读原文领取峰会演讲资料