We consider the problem of Byzantine fault-tolerance in distributed multi-agent optimization. In this problem, each agent has a local cost function, and in the fault-free case, the goal is to design a distributed algorithm that allows all the agents to find a minimum point of all the agents' aggregate cost function. We consider a scenario where up to $f$ (out of $n$) agents might be Byzantine faulty, i.e., these agents may not follow a prescribed algorithm and may share arbitrary information regarding their local cost functions. In the presence of such faulty agents, a more reasonable goal is to design an algorithm that allows all the non-faulty agents to compute, either exactly or approximately, the minimum point of only the non-faulty agents' aggregate cost function. From recent work we know that a deterministic algorithm can compute a minimum point of the non-faulty agents' aggregate cost exactly if and only if the non-faulty agents' cost functions satisfy a certain redundancy property named $2f$-redundancy. However, the $2f$-redundancy property can only be guaranteed in ideal systems free from noises, and thus, exact fault-tolerance is unsuitable for many practical settings. In this paper, we consider the problem of approximate fault-tolerance - a generalization of exact fault-tolerance where the goal is to only compute an approximation of a minimum point. We define approximate fault-tolerance formally as $(f, \, \epsilon)$-resilience where $\epsilon$ is the approximation error, and we show that it can be achieved under a weaker redundancy condition than $2f$-redundancy. In the special case when the cost functions are differentiable, we analyze the approximate fault-tolerance of the distributed gradient-descent method equipped with a gradient-filter; such as comparative gradient elimination (CGE) or coordinate-wise trimmed mean (CWTM).


翻译:我们考虑的是Byzantine在分布式多试剂优化中对Byzantine错误的容忍度问题。在这个问题上,每个代理商都有当地的成本功能,在无过失的情况下,目标是设计一个分布式算法,使所有代理商都能找到所有代理商总成本函数的最小点。我们考虑的是一种假设,即最高为美元(美元中的美元)的代理商可能是Byzantine错误,即这些代理商可能不遵循一种规定的算法,并可能分享关于其当地成本功能的任意信息。在这个问题中,每个代理商都有当地的成本功能,一个更合理的目标是设计一种算法,让所有非过失代理商能够完全或大致地(美元中的)理解,只有非过失代理商总的成本函数才能找到最低点。根据最近的工作,确定一个非腐败代理商总成本的最小点,如果非腐败代理商的成本功能能满足一个叫做2美元-冗余的某部分。然而,2美元中的特殊错误性财产的计算点只能用来在理想的系统中确定一个不固定的准确的准确度。

0
下载
关闭预览

相关内容

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学中,代价函数,又叫损失函数或成本函数,它是将一个或多个变量的事件阈值映射到直观地表示与该事件。 一个优化问题试图最小化损失函数。 目标函数是损失函数或其负值,在这种情况下它将被最大化。
专知会员服务
142+阅读 · 2021年3月17日
专知会员服务
50+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
110+阅读 · 2020年5月15日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
【TED】什么让我们生病
英语演讲视频每日一推
7+阅读 · 2019年1月23日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
3+阅读 · 2018年4月10日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
1+阅读 · 2021年3月17日
Arxiv
0+阅读 · 2021年3月16日
Arxiv
4+阅读 · 2019年1月14日
VIP会员
相关VIP内容
专知会员服务
142+阅读 · 2021年3月17日
专知会员服务
50+阅读 · 2020年12月14日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
110+阅读 · 2020年5月15日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
19篇ICML2019论文摘录选读!
专知
28+阅读 · 2019年4月28日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
【TED】什么让我们生病
英语演讲视频每日一推
7+阅读 · 2019年1月23日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
3+阅读 · 2018年4月10日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员