面向大数据保护的高效能重复数据删除存储关键技术研究

项目名称： 面向大数据保护的高效能重复数据删除存储关键技术研究

项目编号： No.61402518

项目类型： 青年科学基金项目

立项/批准年度： 2014

项目学科： 自动化技术、计算机技术

项目作者： 付印金

作者单位： 中国人民解放军理工大学

项目金额： 26万元

中文摘要： 重复数据删除存储通过消除数据冗余极大提升存储空间利用率，但在存储I/O性能和系统扩展能力方面存在严峻挑战，是当前网络存储研究领域的热点和难点。本课题针对数据中心海量备份数据管理的存储需求，基于应用与存储协同设计研究可有效平衡数据缩减率和系统吞吐率的高效能重复数据删除存储技术。研究思路和创新点是在海量复杂应用数据文件格式和内容分析的基础上，提出应用感知的高效数据分块策略；在此基础上，结合块索引访问模式和混合存储特征，研究高性能的重复数据删除块索引查询机制；并通过应用文件语义比对优化数据相似性开发，研究高可扩展的集群重复数据删除数据路由方法。通过本项目的研究，冀突破数据中心构建具有高存储利用率、高I/O性能和高可扩展特点的高效能重复数据删除存储系统关键技术，以满足重要行业和部门进行大数据保护的存储需求。

中文关键词： 大数据保护；重复数据删除；应用感知；数据缩减率；可扩展性

英文摘要： Deduplication based storage can eliminate data redundancy to significantly improve storage space efficiency,but there are critical challenges in its I/O performance and system scalability. These problems are research issues in network storage field. Our p

英文关键词： Big Data Protection；Data Deduplication；Application Awareness；Data Reduction Ratio；Scalability