The popular federated edge learning (FEEL) framework allows privacy-preserving collaborative model training via frequent learning-updates exchange between edge devices and server. Due to the constrained bandwidth, only a subset of devices can upload their updates at each communication round. This has led to an active research area in FEEL studying the optimal device scheduling policy for minimizing communication time. However, owing to the difficulty in quantifying the exact communication time, prior work in this area can only tackle the problem partially by considering either the communication rounds or per-round latency, while the total communication time is determined by both metrics. To close this gap, we make the first attempt in this paper to formulate and solve the communication time minimization problem. We first derive a tight bound to approximate the communication time through cross-disciplinary effort involving both learning theory for convergence analysis and communication theory for per-round latency analysis. Building on the analytical result, an optimized probabilistic scheduling policy is derived in closed-form by solving the approximate communication time minimization problem. It is found that the optimized policy gradually turns its priority from suppressing the remaining communication rounds to reducing per-round latency as the training process evolves. The effectiveness of the proposed scheme is demonstrated via a use case on collaborative 3D objective detection in autonomous driving.


翻译:受欢迎的联邦边际学习框架(FEEL)允许通过边际装置和服务器之间频繁的学习更新交流来进行隐私保护合作模式培训。 由于带宽限制,只有一组装置可以在每轮通信中上传更新信息。这导致一个积极的研究领域,研究最佳设备时间安排政策以尽量减少通信时间的最佳安排政策。但是,由于难以量化准确的通信时间,这一领域的先前工作只能通过考虑通信周期或整个时间间隔来部分解决该问题,而通信总时间则由两种衡量标准来决定。为了缩小这一差距,我们首次尝试在本文中制定和解决通信时间最小化问题。我们首先通过跨学科努力,通过学习统一分析理论和横向拉动分析通信理论,得出了接近的沟通时间安排政策。在分析结果的基础上,通过解决大约的通信时间最小化问题,从封闭式的最优化的时间安排政策逐渐将它的优先事项从压制其余的沟通回合转向通过自主式测试方法减少横向的连接时间。在展示的合作性测试过程中,拟议通过自主性检查方案将展示的实效化做法转化为封闭式检查方案。

0
下载
关闭预览

相关内容

专知会员服务
28+阅读 · 2021年8月2日
专知会员服务
14+阅读 · 2021年5月21日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
已删除
将门创投
5+阅读 · 2017年8月15日
Federated Deep Learning with Bayesian Privacy
Arxiv
0+阅读 · 2021年9月27日
Arxiv
18+阅读 · 2021年3月16日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
VIP会员
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
已删除
将门创投
5+阅读 · 2017年8月15日
Top
微信扫码咨询专知VIP会员