【博士论文】持久性内存存储系统关键技术研究

2021 年 11 月 24 日 专知

来自清华大学陈游旻的博士论文,入选2021年度“CCF优秀博士学位论文奖”初评名单!

https://www.ccf.org.cn/Focus/2021-11-22/750448.shtml


持久性内存存储系统关键技术研究


存储系统作为数据的载体,在应对爆炸式增长的数据时面临严峻的挑战;同 时,人工智能等新型应用还对存储系统的吞吐率、延迟、扩展性等性能指标提出 了极为严苛的要求。新型持久性内存具有字节可寻址、数据掉电不丢失、性能高 等硬件特性,这为构建高性能存储系统带来了新的机遇。然而,持久性内存具有 极低的访问延迟,这使得传统存储系统的软件开销占比日益凸显;并且,持久性内 存特殊的硬件属性难以被存储系统软件感知,从而导致其性能优势难以被充分发 挥。为此,本文重新思考了基于持久性内存的存储系统架构方式,并在操作系统、 网络系统、存储软件等不同层次展开了研究: 

• 针对文件系统软件开销高和系统难扩展的问题,提出了用户态与内核态协同 的持久性内存文件系统架构 Kuco。Kuco 将存储栈从内核态扩展到用户态, 并利用内核线程管理文件系统元数据及权限。为防止内核线程成为系统瓶 颈,Kuco 引入了协同索引、两级锁协议、版本读等内核态与用户态的协同处 理逻辑。实验表明,Kuco 提升元数据吞吐率最高达 16 倍。 

• 针对 RDMA 在可靠模式下难扩展的问题,提出了基于连接分组的分布式内 存通信原语 ScaleRPC。该原语将网络连接划分到不同组,并以时间片轮询的 方式服务各组,从而避免出现网卡缓存争用;同时,引入了虚拟映射机制使 多组网络连接共用同一物理消息池,从而降低 CPU 缓存缺失率。实验表明, ScaleRPC 可以实现与不可靠模式相近的扩展性。 

• 针对事务系统在负载冲突时尾延迟高的问题,提出了一种融合悲观锁和乐观 读的新型并发控制协议 Plor。Plor 要求事务在执行过程中首先对数据项加锁, 然后再读取对应数据项。在遇到锁冲突时,事务可以继续执行,而仅在事务 提交阶段再进行冲突检测,保证事务按序提交。实验表明,Plor 的吞吐率可 达到乐观并发控制协议的水平,并将 99.9% 尾延迟降低 12 倍。 

• 针对持久性内存更新粒度与访问粒度不匹配带来的低效性问题,设计了一种 基于日志结构的持久性内存键值存储引擎 FlatStore。FlatStore 通过多核流水 线调度的批量处理机制将小写请求合并处理,从而降低对持久性内存的写入 次数,并在提升带宽的同时降低响应延迟。实验表明,FlatStore 相比现有系 统性能提升最高达 6.3 倍。。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“DMCS” 就可以获取【博士论文】持久性内存存储系统关键技术研究》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

【博士论文】大数据相似查询关键技术研究
专知会员服务
22+阅读 · 2021年12月2日
【博士论文】推荐系统多行为建模与隐私保护研究
专知会员服务
51+阅读 · 2021年11月27日
专知会员服务
36+阅读 · 2020年12月22日
专知会员服务
48+阅读 · 2020年12月19日
专知会员服务
13+阅读 · 2020年12月12日
分布式智能计算系统前沿
中国计算机学会
17+阅读 · 2019年10月8日
CNCC技术论坛丨新型持久内存系统与安全
中国计算机学会
7+阅读 · 2019年9月15日
基于Linux连接器的审计进程事件实现方案
FreeBuf
9+阅读 · 2019年3月4日
打包看——2018安全与隐私保护论文
计算机研究与发展
7+阅读 · 2019年1月8日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
网络安全态势感知
计算机与网络安全
25+阅读 · 2018年10月14日
论文动态 | 基于知识图谱的问答系统关键技术研究 #03
开放知识图谱
8+阅读 · 2017年8月8日
论文动态 | 基于知识图谱的问答系统关键技术研究 #02
开放知识图谱
10+阅读 · 2017年8月6日
Bandwidth-Optimal Random Shuffling for GPUs
Arxiv
0+阅读 · 2022年2月3日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
9+阅读 · 2019年4月19日
S4Net: Single Stage Salient-Instance Segmentation
Arxiv
10+阅读 · 2019年4月10日
Arxiv
9+阅读 · 2016年10月27日
VIP会员
相关VIP内容
【博士论文】大数据相似查询关键技术研究
专知会员服务
22+阅读 · 2021年12月2日
【博士论文】推荐系统多行为建模与隐私保护研究
专知会员服务
51+阅读 · 2021年11月27日
专知会员服务
36+阅读 · 2020年12月22日
专知会员服务
48+阅读 · 2020年12月19日
专知会员服务
13+阅读 · 2020年12月12日
相关资讯
分布式智能计算系统前沿
中国计算机学会
17+阅读 · 2019年10月8日
CNCC技术论坛丨新型持久内存系统与安全
中国计算机学会
7+阅读 · 2019年9月15日
基于Linux连接器的审计进程事件实现方案
FreeBuf
9+阅读 · 2019年3月4日
打包看——2018安全与隐私保护论文
计算机研究与发展
7+阅读 · 2019年1月8日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
网络安全态势感知
计算机与网络安全
25+阅读 · 2018年10月14日
论文动态 | 基于知识图谱的问答系统关键技术研究 #03
开放知识图谱
8+阅读 · 2017年8月8日
论文动态 | 基于知识图谱的问答系统关键技术研究 #02
开放知识图谱
10+阅读 · 2017年8月6日
相关论文
Bandwidth-Optimal Random Shuffling for GPUs
Arxiv
0+阅读 · 2022年2月3日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
9+阅读 · 2019年4月19日
S4Net: Single Stage Salient-Instance Segmentation
Arxiv
10+阅读 · 2019年4月10日
Arxiv
9+阅读 · 2016年10月27日
Top
微信扫码咨询专知VIP会员