避免让转型企业走入歧途,是时候重新理解下湖仓一体了!| Q推荐

2022 年 5 月 30 日 InfoQ

随着企业数字化转型进入深水区,越来越多的企业视湖仓一体为数字变革的重要契机,湖仓一体也受到了前所未有的关注。当然,关注度越高市场上的声音也就越嘈杂,很多过时甚至错误的湖仓一体技术和理念不胫而走,很有可能将转型中的企业引入歧途,推高数据孤岛,造成资源浪费甚至错过数字化转型的战略时机。

伪湖仓一体自然是我们不愿看到的,而想要理解什么是真正的湖仓一体,则需要对技术背景及其演进历程有清晰的认知,当然这对多数读者都很挑战,因此笔者尝试从技术背景和发展脉络的角度给出湖仓一体的终极答案。

湖仓一体架构走向舞台中央

湖仓分体模式持续筑高数据孤岛并引发一些列实施、运维和成本问题,那么湖仓一体能否彻底解决这些问题?应该从哪些方面入手?湖仓一体有何标准?Gartner 认为湖仓一体是将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的融合架构,无数据孤岛。

造成数据孤岛的三点主要原因:➀数据多集群冗余存储  ➁集群规模受限  ➂集群高并发受限,都应该在湖仓一体架构中得以解决。此外,近年来数字化转型带来的业务需求和技术难点也应该在新一代的湖仓一体架构中得到关注和解决,具体包括如下四个方面:

湖仓一体的锚点怎么定?

理解了上文湖仓一体应该关注的重点,湖仓一体的本质和要求也就呼之欲出⸺真正的在数据和查询层面形成一体化架构,彻底解决实时性和并发度,以及集群规模受限、非结构化数据无法整合、建模路径冗长、数据一致性弱、性能瓶颈等问题,有效降低 IT 运维成本和数据管理的技术门槛。

为此,我们总结出湖仓一体 ANCHOR 标准,ANCHOR 中文译为锚点、顶梁柱,或将成为湖仓一体浪潮下的定海神针。ANCHOR 具有六大特性,其 6 个字母分别代表:All Data Types(支持多类型数据)、Native  on Cloud(云原生)、Consistency(数据一致性)、High Concurrency (超高并发)、One Copy of Data(一份数据)、Real-Time(实时 T+0)。

使用 ANCHOR 六大特性很容易判断出某一系统设计是否真正满足湖仓一体,那么,满足 ANCHOR 定义的湖仓一体将在哪些方面为企业带来价值?处在转型中的企业又该如何真正理解湖仓一体的真正内涵?

如果你想要更深入了解湖仓一体、读懂湖仓一体、实践湖仓一体,可以到《ANCHOR 区分湖仓一体和湖仓分体的锚》完整版报告中找到答案,报告部分目录如下:

从数据仓库说起
大数据平台逐渐流行
无奈之举,湖仓分体
技术崛起,湖仓一体
湖仓一体技术分析
Omega 保障 ANCHOR 实时特性
湖仓一体典型案例

欢迎大家关注【偶数科技】公众号,在对话框中回复“Anchor”即可获取《ANCHOR 区分湖仓一体和湖仓分体的锚》完整版报告。

点个在看少个 bug 👇

登录查看更多
1

相关内容

企业数据治理痛点与阿里巴巴数据治理方案
专知会员服务
44+阅读 · 2022年7月4日
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
42+阅读 · 2022年4月15日
5G赋能,民用引领,无人机产业迎来新变革,35页报告
专知会员服务
37+阅读 · 2022年3月20日
专知会员服务
41+阅读 · 2021年6月22日
专知会员服务
84+阅读 · 2021年6月14日
多样性算力技术愿景白皮书
专知会员服务
82+阅读 · 2021年4月29日
专知会员服务
41+阅读 · 2021年3月28日
【干货书】现代数据平台架构,636页pdf
专知会员服务
253+阅读 · 2020年6月15日
湖仓一体会成为企业的必选项吗?| Q推荐
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Memory-Gated Recurrent Networks
Arxiv
12+阅读 · 2020年12月24日
VIP会员
相关VIP内容
企业数据治理痛点与阿里巴巴数据治理方案
专知会员服务
44+阅读 · 2022年7月4日
阿里云发布《中国云原生数据湖应用洞察白皮书》
专知会员服务
42+阅读 · 2022年4月15日
5G赋能,民用引领,无人机产业迎来新变革,35页报告
专知会员服务
37+阅读 · 2022年3月20日
专知会员服务
41+阅读 · 2021年6月22日
专知会员服务
84+阅读 · 2021年6月14日
多样性算力技术愿景白皮书
专知会员服务
82+阅读 · 2021年4月29日
专知会员服务
41+阅读 · 2021年3月28日
【干货书】现代数据平台架构,636页pdf
专知会员服务
253+阅读 · 2020年6月15日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员