项目名称: 高能物理计算的I/O性能优化

项目编号: No.11205177

项目类型: 青年科学基金项目

立项/批准年度: 2013

项目学科: 数理科学和化学

项目作者: 汪璐

作者单位: 中国科学院高能物理研究所

项目金额: 30万元

中文摘要: I/O性能优化是提高数据密集型计算效率的主要途径。前期研究发现,系统到达一定规模后,增加存储硬件不能使I/O性能获得线性增长。I/O性能优化是一个复杂的,涉及应用、系统软件、硬件三方面因素的科学问题。 本课题将基于Lustre分布式文件系统,对高能所计算集群上的高能物理计算做I/O优化。作业课题的研究内容包括:1)高能物理计算的I/O模式获取和分析2)高能物理计算程序的I/O代码优化3)基于机器学习的Lustre客户端自适应优化方法4)Lustre数据服务器的请求调度算法5)磁盘文件系统的性能优化。 与其它租用计算资源的科学计算不同,国内外的高能物理计算一般都在由商品服务器和局域网络构成的廉价、自建集群中完成。高能所计算中心是其中的典型代表。目前国内外尚没有针对这种计算模式的完整的IO性能优化方案。课题的研究成果不仅能够提升高能所的计算效率,而且在高能物理社区中具有推广价值。

中文关键词: I/O模式;ROOT;Lustre文件系统;云存储;分级存储系统

英文摘要: Optimization of IO performance is a main path to improve the efficiency of data intensive computing. Prior researches show that when the system reaches certain scale, the IO performance can not always improve linearly with addtion of storage hardware.IO o

英文关键词: I/O pattern;ROOT;Lustre file system;Cloud Storage;hierarchical storage system

成为VIP会员查看完整内容
1

相关内容

【博士论文】分形计算系统
专知会员服务
33+阅读 · 2021年12月9日
【博士论文】集群系统中的网络流调度
专知会员服务
42+阅读 · 2021年12月7日
专知会员服务
103+阅读 · 2021年8月23日
专知会员服务
48+阅读 · 2021年8月4日
最新《计算机体系结构和系统的机器学习》综述论文
专知会员服务
54+阅读 · 2021年2月17日
专知会员服务
80+阅读 · 2020年6月20日
【Google】利用AUTOML实现加速感知神经网络设计
专知会员服务
29+阅读 · 2020年3月5日
对比,还原真实的GPU池化
CSDN
1+阅读 · 2022年4月13日
系统解读CPU 隔离:简介
InfoQ
0+阅读 · 2022年4月6日
如何提升 HBase 大规模集群下的低延时性能
AI前线
0+阅读 · 2022年3月28日
400倍加速, PolarDB HTAP实时数据分析技术解密
阿里技术
0+阅读 · 2021年10月25日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
19+阅读 · 2018年11月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Convex-Concave Min-Max Stackelberg Games
Arxiv
0+阅读 · 2022年4月19日
Arxiv
58+阅读 · 2021年11月15日
小贴士
相关主题
相关VIP内容
【博士论文】分形计算系统
专知会员服务
33+阅读 · 2021年12月9日
【博士论文】集群系统中的网络流调度
专知会员服务
42+阅读 · 2021年12月7日
专知会员服务
103+阅读 · 2021年8月23日
专知会员服务
48+阅读 · 2021年8月4日
最新《计算机体系结构和系统的机器学习》综述论文
专知会员服务
54+阅读 · 2021年2月17日
专知会员服务
80+阅读 · 2020年6月20日
【Google】利用AUTOML实现加速感知神经网络设计
专知会员服务
29+阅读 · 2020年3月5日
相关资讯
对比,还原真实的GPU池化
CSDN
1+阅读 · 2022年4月13日
系统解读CPU 隔离:简介
InfoQ
0+阅读 · 2022年4月6日
如何提升 HBase 大规模集群下的低延时性能
AI前线
0+阅读 · 2022年3月28日
400倍加速, PolarDB HTAP实时数据分析技术解密
阿里技术
0+阅读 · 2021年10月25日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
19+阅读 · 2018年11月27日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员