We study a federated variant of the best-arm identification problem in stochastic multi-armed bandits: a set of clients, each of whom can sample only a subset of the arms, collaborate via a server to identify the best arm (i.e., the arm with the highest mean reward) with prescribed confidence. For this problem, we propose Fed-SEL, a simple communication-efficient algorithm that builds on successive elimination techniques and involves local sampling steps at the clients. To study the performance of Fed-SEL, we introduce a notion of arm-heterogeneity that captures the level of dissimilarity between distributions of arms corresponding to different clients. Interestingly, our analysis reveals the benefits of arm-heterogeneity in reducing both the sample- and communication-complexity of Fed-SEL. As a special case of our analysis, we show that for certain heterogeneous problem instances, Fed-SEL outputs the best-arm after just one round of communication. Our findings have the following key implication: unlike federated supervised learning where recent work has shown that statistical heterogeneity can lead to poor performance, one can provably reap the benefits of both local computation and heterogeneity for federated best-arm identification. As our final contribution, we develop variants of Fed-SEL, both for federated and peer-to-peer settings, that are robust to the presence of Byzantine clients, and hence suitable for deployment in harsh, adversarial environments.


翻译:对于这一问题,我们建议Fed-SEL是一种简单的通信效率算法,以连续消除技术为基础,并在客户中采用地方抽样步骤。为了研究Fed-SEL的绩效,我们引入了一种手臂偏差的观念,它捕捉到不同客户武器分布不均的差别程度。有趣的是,我们的分析揭示了在降低美联储的样本和通信兼容性方面,通过服务器合作找到最佳手臂(即拥有最高平均报酬的手臂)的好处。作为我们分析的一个特例,我们表明在某些复杂问题上,美联储-SEL在一次通信后就会产生最佳的手臂。我们的调查结果具有以下关键含义:与联邦-SEL的监管性学习不同,最近的工作显示,统计偏差可以导致低效表现,一种适合的联邦-SER-SEL,以及我们联邦-SER-SE-FAF-Feral-Feral-Feral-Feral-Feral-Feral-Feral-Feral-Feral-Feral-Feral-Seral-Serveral-Acal-Acal-Seral-Servical-lation-Servication-lation-lation-lation-Servication-lational-lation-lation-lational-lation-lation-I)和Ferent-Serent-Serverent-Serverent-s-I-I-I-slation-Serverent-Server-slation-slation-slation-lation-s-s-lation-lation-lation-lation-lation-lation-lent-s-s-s-s-s-s-s-I)-s-slent-slent-Id-s-s-s-I-slation-lation-lation-lation-lation-slation-lation-lation-lation-s-lation-lation-lation-lation-lation-s-I-I-s-s-I)-s-I-I-I-I-I-I-I-I-I-I-I-I-I-I

0
下载
关闭预览

相关内容

NeurIPS 20201接收论文列表发布,2334篇论文都在这了!
专知会员服务
37+阅读 · 2021年11月4日
专知会员服务
91+阅读 · 2021年6月3日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
LibRec 精选:近期15篇推荐系统论文
LibRec智能推荐
5+阅读 · 2019年3月5日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年11月1日
VIP会员
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
LibRec 精选:近期15篇推荐系统论文
LibRec智能推荐
5+阅读 · 2019年3月5日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员