项目名称: 高度可扩展的数据仓库数据编码方法及查询处理新技术研究

项目编号: No.61170013

项目类型: 面上项目

立项/批准年度: 2012

项目学科: 计算机科学学科

项目作者: 覃雄派

作者单位: 中国人民大学

项目金额: 55万元

中文摘要: 在数据分析领域,数据量急剧膨胀。数据仓库建模的主要方法是星型模型,而负载主要是聚集查询。本研究的内容,是面向大规模机群环境的星型模型数据的高效分析技术。研究的主要思路,是通过维表的层次编码技术消除查询处理过程中的星型连接操作,使得数据容易分布到大规模机群上,实现并行处理,从而提高分析性能。围绕维度层次编码的基本思想,我们拟在数据存储和压缩、新的索引技术、新的查询优化和任务调度技术、并行查询执行技术、系统的容错保证等方面展开研究。该研究着眼于系统的可扩展性,通过数据编码方法消除系统的扩展瓶颈,具有理论意义;基于大规模廉价机群,利用并行处理实现数据的快速分析,有利用降低系统成本和实现数据分析的大众化,具有现实的应用前景。

中文关键词: 大数据;在线分析处理;层次编码;索引技术;查询优化

英文摘要:

英文关键词: Big Data;Online Analytic Processing;Hierarchical Encoding;Indexing Techniques;Query Optimization

成为VIP会员查看完整内容
0

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
【硬核书】基于单调算子的大规模凸优化,306页pdf
专知会员服务
32+阅读 · 2021年7月8日
专知会员服务
35+阅读 · 2021年5月10日
【经典书】数据结构与算法,770页pdf
专知会员服务
140+阅读 · 2021年4月15日
专知会员服务
51+阅读 · 2020年12月19日
企业风险知识图谱的构建及应用
专知会员服务
97+阅读 · 2020年11月6日
PolarDB 并行查询的前世今生
阿里技术
0+阅读 · 2022年2月17日
从托管到原生,MPP架构数据仓库的云原生实践
阿里技术
1+阅读 · 2022年1月21日
浅谈BERT/Transformer模型的压缩与优化加速
PaperWeekly
1+阅读 · 2021年12月31日
400倍加速, PolarDB HTAP实时数据分析技术解密
阿里技术
0+阅读 · 2021年10月25日
庖丁解牛-图解MySQL 8.0优化器查询解析篇
阿里技术
0+阅读 · 2021年9月10日
云上应用系统数据存储架构演进
阿里技术
2+阅读 · 2021年9月1日
亿级订单数据的访问与储存,怎么实现与优化
ImportNew
11+阅读 · 2019年4月22日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年5月9日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
21+阅读 · 2019年3月25日
小贴士
相关VIP内容
【硬核书】基于单调算子的大规模凸优化,306页pdf
专知会员服务
32+阅读 · 2021年7月8日
专知会员服务
35+阅读 · 2021年5月10日
【经典书】数据结构与算法,770页pdf
专知会员服务
140+阅读 · 2021年4月15日
专知会员服务
51+阅读 · 2020年12月19日
企业风险知识图谱的构建及应用
专知会员服务
97+阅读 · 2020年11月6日
相关资讯
PolarDB 并行查询的前世今生
阿里技术
0+阅读 · 2022年2月17日
从托管到原生,MPP架构数据仓库的云原生实践
阿里技术
1+阅读 · 2022年1月21日
浅谈BERT/Transformer模型的压缩与优化加速
PaperWeekly
1+阅读 · 2021年12月31日
400倍加速, PolarDB HTAP实时数据分析技术解密
阿里技术
0+阅读 · 2021年10月25日
庖丁解牛-图解MySQL 8.0优化器查询解析篇
阿里技术
0+阅读 · 2021年9月10日
云上应用系统数据存储架构演进
阿里技术
2+阅读 · 2021年9月1日
亿级订单数据的访问与储存,怎么实现与优化
ImportNew
11+阅读 · 2019年4月22日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员