项目名称: 分布式网络中基于纠删编码的存储机制及其优化

项目编号: No.61201234

项目类型: 青年科学基金项目

立项/批准年度: 2013

项目学科: 电子学与信息系统

项目作者: 徐光平

作者单位: 天津理工大学

项目金额: 25万元

中文摘要: 随着网络和通信技术的发展,以互联网络为支撑的分布式存储系统具有广阔的前景和发展空间,例如对等存储、云存储等。这与传统的数据存储模式不同,网络的分布性、动态性和异构性导致数据存储难以处于理想可用的状态,这亟需高可靠、高可用和高性能的数据存储策略。为此,基于纠删编码的数据存储成为当前倍受关注的研究方向。 本项目在认识分布式网络特性的基础上,根据多种纠删编码的容错特性,综合考虑存储空间开销、网络带宽消耗、数据访问模式以及数据存储的可靠性等因素,研究可靠高效的数据编码存储机制及其优化。主要体现在以下几个方面:(1)通过对具有良好特性的编码扩展,研究适应网络特点和存储需求的编码构造;(2)研究在多种约束条件下的编码数据的优化布局;(3)研究高性能编码数据重构的调度算法;(4)设计原型系统进行验证和评价。本项目有望丰富多容错纠删编码的理论研究,而且有望为布式网络存储提供创新技术支持。

中文关键词: 分布式存储系统;纠删编码;数据修复;可靠性;可扩展性

英文摘要: With the development of networks and communication techniques, distributed storage systems, supported with the infrastructure of the Internet, have broad prospects and potential spaces, such as peer-to-peer storage, cloud storage, etc. Different from the traditional storage model, the decentralization, dynamics and heterogeneity of the networks bring a challenge to keep stored data in the ideal available state, which is an obstacle for these storage systems in practice. It needs to investigate the storage schemes of high reliability, high availability and high performance. Therefore, the erasure-coding based storage mechanism, as one of the research directions, has been drawn more attentions in academic. To design reliable and efficient distributed storage systems, we plan to study and optimize the erasure-coding based storage mechanism based on the awareness of network characteristics. We will consider multiple practical constraints to examine the optimal erasure-coding storage problems in the whole storage process, such as the storage space costs, network bandwidth overheads, the data access model, the expected storage reliability and some others. The research work mainly includes the following aspects. First, The optimal erasure codes which are adative to network features and coincided with the storage dema

英文关键词: distributed storage systems;erasure codes;data repair;reliability;scalibility

成为VIP会员查看完整内容
0

相关内容

面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
编码计算研究综述
专知会员服务
21+阅读 · 2021年10月26日
专知会员服务
33+阅读 · 2021年10月17日
专知会员服务
36+阅读 · 2021年7月8日
专知会员服务
44+阅读 · 2020年11月13日
专知会员服务
78+阅读 · 2020年8月4日
一文搞懂redis
阿里技术
1+阅读 · 2022年3月24日
如何使用流处理器 Pipy 来创建网络代理
InfoQ
0+阅读 · 2022年2月25日
自动化所团队揭示多尺度动态编码,助力脉冲网络实现高效强化学习
中国科学院自动化研究所
0+阅读 · 2021年12月13日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
代理网关设计与实现(基于NETTY)
阿里技术
0+阅读 · 2021年11月23日
云上应用系统数据存储架构演进
阿里技术
2+阅读 · 2021年9月1日
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
无人机集群对抗研究的关键问题
无人机
49+阅读 · 2018年9月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Verified Compilation of Quantum Oracles
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
10+阅读 · 2018年4月19日
小贴士
相关VIP内容
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
编码计算研究综述
专知会员服务
21+阅读 · 2021年10月26日
专知会员服务
33+阅读 · 2021年10月17日
专知会员服务
36+阅读 · 2021年7月8日
专知会员服务
44+阅读 · 2020年11月13日
专知会员服务
78+阅读 · 2020年8月4日
相关资讯
一文搞懂redis
阿里技术
1+阅读 · 2022年3月24日
如何使用流处理器 Pipy 来创建网络代理
InfoQ
0+阅读 · 2022年2月25日
自动化所团队揭示多尺度动态编码,助力脉冲网络实现高效强化学习
中国科学院自动化研究所
0+阅读 · 2021年12月13日
面向大数据处理框架的JVM优化技术综述
专知
0+阅读 · 2021年11月27日
代理网关设计与实现(基于NETTY)
阿里技术
0+阅读 · 2021年11月23日
云上应用系统数据存储架构演进
阿里技术
2+阅读 · 2021年9月1日
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
无人机集群对抗研究的关键问题
无人机
49+阅读 · 2018年9月16日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员