面向数据中心混合负载的数据存储结构及其转换技术研究

项目名称： 面向数据中心混合负载的数据存储结构及其转换技术研究

项目编号： No.61379042

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 熊劲

作者单位： 中国科学院计算技术研究所

项目金额： 76万元

中文摘要： 当前数据中心所面临的一个棘手问题是：各种负载所产生的大数据集分别存储在不同存储系统之中,数据需要在这些系统之间进行变换、传输和重组，造成了高昂的系统维护成本,也给数据进行及时就地分析带来极大的困难。为解决这些问题，本课题研究高效支持多种负载的存储系统的关键技术，它支持多种数据存储结构，不同的数据存储结构服务于不同的负载，并且自动转换数据存储结构，以适应负载的变化。主要研究内容包括：（1）研究如何利用NVM器件的优势、并根据不同负载的特点和性能需求来优化几种数据存储结构，提高数据存取的性价比；（2）研究不同数据存储结构之间的自动转换方法，以控制转换消耗的系统资源、减少转换对正常负载的影响、提高转换的效率；（3）研究根据负载的特征来自动划分数据生命周期阶段的方法，从而确定数据的存储结构及其转换时机。通过本项目研究，为高效支持数据中心多种负载的存储系统提供切实可行的解决方案。

中文关键词： SSD；NVM；LSM-tree；Shuffle；键值存储

英文摘要： There are multiple types of applications run in a data center, including online services, big data analysis jobs, stream data processing jobs. Existing solutions use different data storage systems for different types of applications, which results in depl

英文关键词： SSD；NVM；LSM-tree；Shuffle；Key-Value Store