项目名称: 基于分布式键值对网络存储的消息传递程序重播技术研究

项目编号: No.61073175

项目类型: 面上项目

立项/批准年度: 2011

项目学科: 金属学与金属工艺

项目作者: 薛瑞尼

作者单位: 电子科技大学

项目金额: 12万元

中文摘要: 调试消息传递程序(MPI)是并行计算的重大挑战,确定性重播是辅助调试的重要技术。目前的确定性重播技术在日志的记录和管理中存在以下不足:每个进程产生独立的日志文件,导致日志文件数量多,管理复杂;直接将日志写入磁盘或者通过网络文件系统写入服务器磁盘性能不理想;MPI程序中存在内容相同的消息,现有方法会重复记录这些消息,浪费日志空间。这些不足限制了重播方法的实际应用。本项目提出基于分布式键值对网络存储的确定性重播技术,深入挖掘分布式键值对网络存储与确定性重播技术的结合点,主要研究:面向MPI程序重播的定制的分布式键值对网络存储系统,消除程序员管理日志的负担,保证日志存取速度;独立于MPI运行库,重播引擎和键值对网络存储的数据服务中间件,保证程序移植性;重复消息在线全局删冗技术,进一步减小日志规模。最终的目标是提供透明的低开销的基于分布式键值对网络存储的MPI重播方案。

中文关键词: 分布式系统;键值对存储;消息传递;确定性重播;数据删冗

英文摘要:

英文关键词:

成为VIP会员查看完整内容
1

相关内容

【Manning新书】Kafka实战,272页pdf,Kafka in Action
专知会员服务
60+阅读 · 2022年1月30日
【博士论文】集群系统中的网络流调度
专知会员服务
43+阅读 · 2021年12月7日
【博士论文】大数据相似查询关键技术研究
专知会员服务
23+阅读 · 2021年12月2日
【博士论文】吉布斯分布的局部、动态与快速采样算法
专知会员服务
28+阅读 · 2021年11月26日
专知会员服务
43+阅读 · 2021年7月6日
专知会员服务
51+阅读 · 2020年12月19日
【2020新书】Kafka实战:Kafka in Action,209页pdf
专知会员服务
67+阅读 · 2020年3月9日
Spark & Hive 云原生改造在智领云的应用
CSDN
0+阅读 · 2022年4月8日
如何降低云计算基础设施的复杂度?
InfoQ
0+阅读 · 2022年1月4日
WhatsApp 是如何实现端到端加密备份的?
InfoQ
0+阅读 · 2021年11月26日
【Flink】基于 Flink 的流式数据实时去重
AINLP
14+阅读 · 2020年9月29日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
14+阅读 · 2019年11月26日
小贴士
相关VIP内容
【Manning新书】Kafka实战,272页pdf,Kafka in Action
专知会员服务
60+阅读 · 2022年1月30日
【博士论文】集群系统中的网络流调度
专知会员服务
43+阅读 · 2021年12月7日
【博士论文】大数据相似查询关键技术研究
专知会员服务
23+阅读 · 2021年12月2日
【博士论文】吉布斯分布的局部、动态与快速采样算法
专知会员服务
28+阅读 · 2021年11月26日
专知会员服务
43+阅读 · 2021年7月6日
专知会员服务
51+阅读 · 2020年12月19日
【2020新书】Kafka实战:Kafka in Action,209页pdf
专知会员服务
67+阅读 · 2020年3月9日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员