技术控 | 宽表列存储在大数据分析中的应用与优化

点击上方“蓝字”可以关注我们哦

卞昊穹

中国人民大学博士

嘉宾简介：

中国人民大学博士研究生，研究方向为数据库系统和实时数据分析，从事SQL-on-Hadoop系统测试和开发。在HDFS列存储优化、高性能数据索引和装载、分布式等值连接算法、海量知识库扩充等方面的研究成果发表在SIGMOD、CIKM等国际顶级学术会议上。

宽表列存储在大数据分析中的应用与优化

目前在很多企业的数据分析任务中，常见几百上千列的宽表数据。这些宽表通常数据量巨大、存储在HDFS等分布式文件系统中。HDFS上宽表存储优化重要且具有挑战。宽表在数据分析中的可以避免一些频繁的连接操作，在用户画像、数据挖掘负载中，宽表也是一种高效的数据存取方式。对于宽表上的分析型负载，列存储可以有效减少不必要的I/O、提高数据压缩效果。HDFS上也已经有RC File、ORC、Parquet等成熟的列存储格式，但这些存储格式的设计只考虑了传统的数据分析负载，并没有针对宽表做深入的研究和优化。本工作介绍了HDFS上宽表列存储的特征和优化方法。该工作已在微软Bing日志分析产品中应用，并发表在SIGMOD 17上。

■议题详解

品读之后，

愿享同感。

by.数据库技术大会