项目名称: 分布式存储系统中数据再生的磁盘读写开销优化研究

项目编号: No.61402172

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 自动化技术、计算机技术

项目作者: 王艳

作者单位: 华东交通大学

项目金额: 20万元

中文摘要: 在分布式存储系统中,由于磁盘或网络故障造成的存储节点失效事件频发,为了保证数据的可靠性和可用性,系统需要以较小的资源开销快速再生出失效数据。再生码虽然可以减少再生过程中的带宽开销,但是它却以增加数据再生过程中从磁盘读取的数据量为代价,即磁盘I/O开销比较大。本项目主要研究再生过程中磁盘I/O开销的优化问题。主要研究内容包括:1)以RAID-6为代表的高存储效率场景下进行精确数据修复的最小磁盘I/O开销;2)探讨混合式修复策略是否可以减小再生过程中的磁盘I/O开销;3)研究数据更新操作的计算复杂度与再生操作的磁盘I/O开销的相互影响。通过研究,了解影响磁盘I/O开销的因素,并设计一类实用的、具有较小磁盘I/O开销和高存储效率的分布式存储编码。

中文关键词: 分布式存储系统;纠删码;磁盘读写开销;再生码;带宽异构

英文摘要: In distributed storage systems, storage nodes fail frequently because of disk /link failures. In order to preserve data's reliability and availability, we have to regenerate the lost data with low resource consumption as soon as possible. Regenerating cod

英文关键词: distributed storage systems;erasure codes;disk I/O overhead;regenerating codes;heterogeneous aware

成为VIP会员查看完整内容
0

相关内容

【博士论文】集群系统中的网络流调度
专知会员服务
43+阅读 · 2021年12月7日
【博士论文】基于冲量的加速优化算法
专知会员服务
25+阅读 · 2021年11月29日
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
11+阅读 · 2021年6月20日
专知会员服务
18+阅读 · 2021年5月16日
专知会员服务
37+阅读 · 2021年4月25日
专知会员服务
30+阅读 · 2020年12月21日
GCN如何并行化?分布式图卷积神经网路,13页pdf
专知会员服务
34+阅读 · 2020年7月20日
Transformer性能优化:运算和显存
PaperWeekly
1+阅读 · 2022年3月29日
12 个优化 Docker 镜像安全性的技巧
InfoQ
0+阅读 · 2022年3月8日
并发场景下的幂等问题——分布式锁详解
阿里技术
0+阅读 · 2021年11月30日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Verified Compilation of Quantum Oracles
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
102+阅读 · 2020年3月4日
小贴士
相关VIP内容
【博士论文】集群系统中的网络流调度
专知会员服务
43+阅读 · 2021年12月7日
【博士论文】基于冲量的加速优化算法
专知会员服务
25+阅读 · 2021年11月29日
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
11+阅读 · 2021年6月20日
专知会员服务
18+阅读 · 2021年5月16日
专知会员服务
37+阅读 · 2021年4月25日
专知会员服务
30+阅读 · 2020年12月21日
GCN如何并行化?分布式图卷积神经网路,13页pdf
专知会员服务
34+阅读 · 2020年7月20日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员