项目名称: 结合逻辑与物理I/O访问信息的存储系统优化策略的研究

项目编号: No.61303038

项目类型: 青年科学基金项目

立项/批准年度: 2014

项目学科: 自动化技术、计算机技术

项目作者: 廖剑伟

作者单位: 西南大学

项目金额: 23万元

中文摘要: 本项目拟研究主动式存储系统的I/O优化策略,以克服当前主动式存储系统模型的不足。通过捕获应用程序的逻辑I/O访问信息和其在存储服务器上的物理I/O访问信息,采用有向无环图(DAG, Directed Acyclic Graph)记录、合并优化和管理所有I/O事件;同时构建I/O事件之间的依赖关系。通过建立应用程序的逻辑I/O访问和物理I/O访问之间的映射联系,利用基于概率计算的预测模型预测并分析逻辑和物理I/O访问模式,结合I/O事件的依赖关系,为以并行文件系统为基础设施的主动式存储系统准确地执行数据预取和数据物理分布的优化操作提供基本决策信息,从而提高I/O子系统的吞吐率并减少应用程序本身的执行时间,最终达到提高系统整体性能的目标。

中文关键词: 分布式文件系统;I/O优化机制;I/O访问模式;数据预取;云计算

英文摘要: This project aims to propose a framework to effectively support I/O optimization strategies for overcoming the shortcomings in conventional active storage systems. We first trace both logical I/O operations on the client side and physical I/O operations on the storage server side related to the applications. Then the proposed framework employs directed acyclic graphs (DAGs) to record, optimize and manage all I/O events to explore the dependency among all events. Next, the mapping relationship between logical and physical I/O operations will be explored and used to predict the logical and physical I/O access patterns. Therefore, according to the obtained logical I/O access patterns and its relevant physical access patterns, we can predict both I/O access patterns in the near future exactly, which can benefit to data pre-fetching and dynamical data re-striping in the active storage systems. Finally, the proposed framework that equipped with certain I/O optimization strategies can not only improve I/O data throughput of the I/O systems, but also reduce the execution times of the applications. As a result, the overall system's performance can be boosted to a great extent.

英文关键词: Distributed File Systems;I/O Optimization;I/O Access Pattern;Data Prefetching;Cloud Computing

成为VIP会员查看完整内容
0

相关内容

面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
34+阅读 · 2021年10月17日
专知会员服务
104+阅读 · 2021年8月23日
专知会员服务
61+阅读 · 2021年6月11日
专知会员服务
53+阅读 · 2021年4月3日
【WWW2021】充分利用层级结构进行自监督分类法扩展
专知会员服务
15+阅读 · 2021年2月7日
专知会员服务
30+阅读 · 2020年12月21日
个性化推荐系统技术进展
专知会员服务
65+阅读 · 2020年8月15日
云计算成本优化终极指南
InfoQ
0+阅读 · 2022年2月12日
领英远程开发云架构构建之路
InfoQ
0+阅读 · 2021年12月17日
如何在微服务中设计用户权限策略?
InfoQ
0+阅读 · 2021年11月19日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
19+阅读 · 2020年7月13日
Arxiv
19+阅读 · 2018年6月27日
小贴士
相关VIP内容
面向大数据处理框架的JVM优化技术综述
专知会员服务
16+阅读 · 2021年11月27日
专知会员服务
34+阅读 · 2021年10月17日
专知会员服务
104+阅读 · 2021年8月23日
专知会员服务
61+阅读 · 2021年6月11日
专知会员服务
53+阅读 · 2021年4月3日
【WWW2021】充分利用层级结构进行自监督分类法扩展
专知会员服务
15+阅读 · 2021年2月7日
专知会员服务
30+阅读 · 2020年12月21日
个性化推荐系统技术进展
专知会员服务
65+阅读 · 2020年8月15日
相关资讯
云计算成本优化终极指南
InfoQ
0+阅读 · 2022年2月12日
领英远程开发云架构构建之路
InfoQ
0+阅读 · 2021年12月17日
如何在微服务中设计用户权限策略?
InfoQ
0+阅读 · 2021年11月19日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
微信扫码咨询专知VIP会员