项目名称: 异构服务器共享RAID的IO流互扰分析和数据排布优化研究

项目编号: No.61202106

项目类型: 青年科学基金项目

立项/批准年度: 2013

项目学科: 计算机科学学科

项目作者: 刘艳

作者单位: 华侨大学

项目金额: 23万元

中文摘要: 当今数量庞大的中小型IT企业中RAID存储子系统往往被多个异构服务器共享,对存储资源的竞争,以及异构服务器的IO流互相干扰引起的RAID磁盘磁头频繁寻道,导致共享RAID性能降低,违背了企业存储共享的初衷。本项目提出基于对IO访问的在线分析,结合数据动态重排,实施优化的共享RAID数据排布方案来解决该问题:在共享RAID的物理存储空间划分一个缓存区,用于为每个服务器配置一个"子RAID";再通过在线的IO访问特征分析,基于对单个磁盘顺序访问的数据块最大化或对多个阵列磁盘并行访问的磁盘数目最大化原则,确定"子RAID"结构,并选择最佳数据集从大磁盘阵列动态重排到"子RAID",使各"子RAID"始终对相应服务器呈现"专有逻辑高速缓存"的功能,从而隔离异构服务器IO流互扰,提高存储系统IO吞吐率。课题研究成果能让共享RAID为异构服务器提供优化、均衡的存储服务,实现真正的企业RAID存储共享。

中文关键词: 存储系统;异构服务器;IO请求;数据副本;RAID

英文摘要: In IT departments of small to medium size enterprises, RAID storage systems are generally shared by multiple heterogeneous servers.The shared RAID always show a rapid decrease in IO performance, as the direct result of resource contention as well as frequent disk head movements caused by intermix of disk requests from different servers. Which goes against the aim of enterprise storage sharing. Based on online profiling of disk IO operations from multiple servers sharing the disk array, combined with data migration, we propose a new dynamic data relocation technique on shared RAID storages to optimize performance. A physical partition of the entire shared array is constructed as "cache area", providing one sub-RAID for each server sharing the storage. Each sub-RAID forms different RAID configuration to match the IO access pattern of its corresponding server. By analyzing profiling data, we determine optimal data relocation, the portion of hot data and partition of disks in the shared RAID to maximize large sequential block accesses on individual disks and at the same time maximize parallel accesses across disks in the array. Obviously, the "cache area" stores active data and works in a similar way as a second level storage cache with a capacity several orders of magnitude larger than a RAM cache. Besides, each su

英文关键词: storage system;heterogeneous server;IO request;data replica;RAID

成为VIP会员查看完整内容
0

相关内容

基于对比调整缩放的图自监督学习
专知会员服务
8+阅读 · 2022年4月6日
【博士论文】分形计算系统
专知会员服务
33+阅读 · 2021年12月9日
【博士论文】基于冲量的加速优化算法
专知会员服务
25+阅读 · 2021年11月29日
专知会员服务
104+阅读 · 2021年8月23日
专知会员服务
24+阅读 · 2021年7月8日
边缘机器学习,21页ppt
专知会员服务
82+阅读 · 2021年6月21日
【2020新书】数据结构与数据表示指南,112页pdf
专知会员服务
82+阅读 · 2020年10月6日
对比,还原真实的GPU池化
CSDN
1+阅读 · 2022年4月13日
为什么选择无服务器模型?
InfoQ
0+阅读 · 2022年3月6日
云计算成本优化终极指南
InfoQ
0+阅读 · 2022年2月12日
ADBPG&Greenplum成本优化之磁盘水位管理
阿里技术
0+阅读 · 2022年1月12日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Differentiable Time-Frequency Scattering in Kymatio
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
小贴士
相关VIP内容
基于对比调整缩放的图自监督学习
专知会员服务
8+阅读 · 2022年4月6日
【博士论文】分形计算系统
专知会员服务
33+阅读 · 2021年12月9日
【博士论文】基于冲量的加速优化算法
专知会员服务
25+阅读 · 2021年11月29日
专知会员服务
104+阅读 · 2021年8月23日
专知会员服务
24+阅读 · 2021年7月8日
边缘机器学习,21页ppt
专知会员服务
82+阅读 · 2021年6月21日
【2020新书】数据结构与数据表示指南,112页pdf
专知会员服务
82+阅读 · 2020年10月6日
相关资讯
对比,还原真实的GPU池化
CSDN
1+阅读 · 2022年4月13日
为什么选择无服务器模型?
InfoQ
0+阅读 · 2022年3月6日
云计算成本优化终极指南
InfoQ
0+阅读 · 2022年2月12日
ADBPG&Greenplum成本优化之磁盘水位管理
阿里技术
0+阅读 · 2022年1月12日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员