大规模文件系统中元数据高效访问方法研究

项目名称： 大规模文件系统中元数据高效访问方法研究

项目编号： No.61370059

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 肖利民

作者单位： 北京航空航天大学

项目金额： 71万元

中文摘要： 大规模文件系统是应对大数据存储需求的重要技术途径之一，其元数据的访问方法是当前国内外研究热点。然而，现有研究难以满足大规模文件系统在大规模目录树结构、大规模文件数量、密集型元数据访问、并发多类型负载等方面的新挑战：文件查找、搜索、创建等典型操作中因文件系统规模扩展导致的缓存空间利用率降低、文件搜索空间增大、元数据访问局部性缺失、并发访问资源竞争加剧等元数据访问性能问题。本项目以提高大规模文件系统中元数据访问性能为目标，以元数据操作的I/O路径为主线，研究元数据高效访问的新方法：基于目录子树分区和反向链表缓存结构的文件查找方法、基于目录级多维可伸缩Bloom Filter的文件并行搜索方法、基于多阶段提交协议和元数据聚合机制的文件并行创建方法以及支持元数据服务质量的元数据访问性能保障方法。项目研究工作对提高大规模文件系统整体性能和可扩展能力、促进大数据领域技术创新具有重要的理论意义和应用价值

中文关键词： 大规模文件系统；元数据访问；文件查找；文件搜索；文件创建

英文摘要： Large-scale file system is one of the important technologies to implement the storage of big data. Nowadays, the metadata access method in large- scale file system is one of hottest research problems all over the world. However, current research efforts o

英文关键词： large-scale file system；metadata access；file lookup；file search；file creation