Erasure coding has been recognized as a powerful method to mitigate delays due to slow or straggling nodes in distributed systems. This work shows that erasure coding of data objects can flexibly handle skews in the request rates. Coding can help boost the \emph{service rate region}, that is, increase the overall volume of data access requests that the system can handle. This paper aims to postulate the service rate region as an important consideration in the design of erasure-coded distributed systems. We highlight several open problems that can be grouped into two broad threads: 1) characterizing the service rate region of a given code and finding the optimal request allocation, and2) designing the underlying erasure code for a given service rate region. As contributions along the first thread, we characterize the rate regions of maximum-distance-separable, locally repairable, and Simplex codes. We show the effectiveness of hybrid codes that combine replication and erasure coding in terms of code design. We also discover fundamental connections between multi-set batch codes and the problem of maximizing the service rate region.


翻译:断层编码已被公认为是缓解因分布式系统中的慢节点或断裂节点而造成延误的有力方法。 这项工作表明, 数据对象的删除编码可以灵活地处理请求率中的偏斜值。 编码可以帮助提升 emph{ 服务率区域}, 即增加系统能够处理的数据访问请求总量。 本文旨在将服务率区域作为设计删除编码分布式系统的一个重要考虑因素。 我们强调几个可以归为两个大线的开放问题:1) 将特定代码的服务率区域定性并找到最佳请求分配,2) 设计特定服务率区域的基本取消代码。 作为第一线上的贡献, 我们确定最大距离可分隔、 本地可修理和简单x 代码的费率区域。 我们展示了混合代码的有效性, 将复制和取消代码设计中的编码结合起来。 我们还发现了多套集码与服务率区域最大化问题之间的基本联系。

0
下载
关闭预览

相关内容

纠删码(erasure coding,EC)是一种数据保护方法,它将数据分割成片段,把冗余数据块扩展、编码,并将其存储在不同的位置,比如磁盘、存储节点或者其它地理位置。
【Coling-2020】面向机器阅读理解的双向认知思维网络
专知会员服务
9+阅读 · 2021年2月12日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
已删除
将门创投
3+阅读 · 2019年5月6日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
计算机 | CCF推荐会议信息10条
Call4Papers
5+阅读 · 2018年10月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
Arxiv
19+阅读 · 2020年7月13日
Arxiv
45+阅读 · 2019年12月20日
Arxiv
4+阅读 · 2019年1月14日
VIP会员
相关资讯
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
已删除
将门创投
3+阅读 · 2019年5月6日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
计算机 | CCF推荐会议信息10条
Call4Papers
5+阅读 · 2018年10月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Top
微信扫码咨询专知VIP会员