项目名称: 面向数据中心负载的本地存储系统能效优化技术研究

项目编号: No.61303056

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 自动化技术、计算机技术

项目作者: 岳银亮

作者单位: 中国科学院信息工程研究所

项目金额: 27万元

中文摘要: 随着数据量爆炸式增长,数据中心存储系统的能效问题日益突出。当前数据中心主要运行数据密集型应用,在任务处理、数据组织和I/O负载等方面呈现出新的特征。然而,已有存储系统能效优化技术不能有效地适应新的特征。本项目拟研究(1)结合数据分布和存储设备特征的任务分解与调度策略,通过延缓部分非关键子任务的执行,延长磁盘处于休眠状态的时间;(2)感知负载特征的数据组织变换策略,依据不同阶段数据访问特征与服务质量需求的差异,按需调整数据组织,减少不必要的数据组织变换带来的I/O开销;(3)优化存储空间利用率和存储带宽利用率的数据分布策略,通过数据复制和写重定向聚合读写I/O,减少磁盘寻道开销并提升数据分布效率。上述三个层面的研究分别从任务处理、数据组织和I/O负载的角度,优化对存储系统性能和能耗有关键影响的I/O行为,在保证满足服务质量需求的前提下,达到提升数据中心存储系统性能和能效的目的。

中文关键词: 存储系统;能效;I/O调度机制;数据组织方式;数据中心

英文摘要: With the explosive growth of data, the energy efficiency of datacenter storage systems has become increasingly prominant. Currently the workloads of datacenter, which are mainly dominated by data-intensive applications, present new features in terms of task handling, data management and I/O characteristics. However, existing energy efficiency optimizing methods for storage systems are not well suited to the above new features. This project plans to do research in (1) The strategy of task decomposition and scheduling, which combines data placement and characteristics of storage devices. By deferring the scheduling of partial non-critical sub-tasks, the standby time of some hard disks can be extented. (2) The method of workload characteristics aware data transformation . Based on the differences in data access pattern and QoS among different stages, data can be transformed on demand, and thus reducing the I/O cost of unnecessary data transformation. (3) The strategy of data distribution optimizing the efficiency of storage space and storage bandwidth. Through data replication and write redirection, random I/Os can be aggregated, and the cost of disk seeks can be reduced and the efficiency of data transformation can be improved. The above three aspects optimize the I/O behaviors which have significant effects

英文关键词: Data Center;Storage Systems;I/O Schedule Scheme;Data Organization Mechianism;Energy Efficience

成为VIP会员查看完整内容
0

相关内容

面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
数据中心传感器技术应用 白皮书
专知会员服务
38+阅读 · 2021年11月13日
2021年金融级数据库容灾技术报告(附PDF全文)
专知会员服务
19+阅读 · 2021年7月11日
专知会员服务
24+阅读 · 2021年7月8日
专知会员服务
58+阅读 · 2021年6月11日
专知会员服务
62+阅读 · 2021年5月3日
专知会员服务
44+阅读 · 2020年8月20日
如何提升 HBase 大规模集群下的低延时性能
AI前线
0+阅读 · 2022年3月28日
如何降低云计算基础设施的复杂度?
InfoQ
0+阅读 · 2022年1月4日
数据中心传感器技术应用 白皮书
专知
0+阅读 · 2021年11月13日
面向自动驾驶的边缘计算技术研究综述
专知
4+阅读 · 2021年5月3日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
12+阅读 · 2022年4月12日
Arxiv
58+阅读 · 2021年11月15日
Arxiv
28+阅读 · 2021年9月26日
小贴士
相关VIP内容
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
数据中心传感器技术应用 白皮书
专知会员服务
38+阅读 · 2021年11月13日
2021年金融级数据库容灾技术报告(附PDF全文)
专知会员服务
19+阅读 · 2021年7月11日
专知会员服务
24+阅读 · 2021年7月8日
专知会员服务
58+阅读 · 2021年6月11日
专知会员服务
62+阅读 · 2021年5月3日
专知会员服务
44+阅读 · 2020年8月20日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员