高能预警 | 饿了么IT老兵如何构建列式存储内存数据库?

2019 年 2 月 26 日 DBAplus社群


诸如Hadoop体系的通用大数据存储计算平台一般无法满足数据处理的时效性,一般只支持T+1的时效性和关键业务小时级别的数据延迟;很多场景下大数据量的磁盘IO(或首次IO)会引起查询响应延迟比较高,无法满足快速实时查询的要求。


很多技术团队采取预先聚合数据的方式来达到实时查看数据结果的目标,但缺点是无法分析和查询聚合前的详细数据,随着业务的深入发展,精细化运营经常会需要直接查询聚合前的原始数据。


内存数据库的优势在于查询性能快,在内存中直接对原始数据记录进行查询和聚合分析,采用了大量灵活的数据编码方法和压缩算法支持更大的数据容量限制。


想了解内存分析数据库的架构设计

及关键技术的选择?

弄清列式存储内存数据库特性及适用场景?


dbaplus社群特邀饿了么CI高级架构师

分享“构建列式存储内存数据库的实践之路”

今晚(2月27日晚上8点)约定你!



登录查看更多
0

相关内容

列存储,缩写为DSM,相对于NSM(N-ary storage model),其主要区别在于,DSM将所有记录中相同字段的数据聚合存储。
【2020新书】实战R语言4,323页pdf
专知会员服务
100+阅读 · 2020年7月1日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
【SIGMOD2020-腾讯】Web规模本体可扩展构建
专知会员服务
29+阅读 · 2020年4月12日
【2020新书】Kafka实战:Kafka in Action,209页pdf
专知会员服务
67+阅读 · 2020年3月9日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
滴滴离线索引快速构建FastIndex架构实践
InfoQ
21+阅读 · 2020年3月19日
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
OLAP引擎这么多,为什么苏宁选择用Druid?
51CTO博客
12+阅读 · 2018年12月20日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
Spark的误解-不仅Spark是内存计算,Hadoop也是内存计算
Spark App自动化分析和故障诊断
CSDN大数据
7+阅读 · 2017年6月22日
Arxiv
5+阅读 · 2018年1月23日
VIP会员
相关资讯
滴滴离线索引快速构建FastIndex架构实践
InfoQ
21+阅读 · 2020年3月19日
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
OLAP引擎这么多,为什么苏宁选择用Druid?
51CTO博客
12+阅读 · 2018年12月20日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
Spark的误解-不仅Spark是内存计算,Hadoop也是内存计算
Spark App自动化分析和故障诊断
CSDN大数据
7+阅读 · 2017年6月22日
Top
微信扫码咨询专知VIP会员