In this paper, we study how to optimize the federated edge learning (FEEL) in UAV-enabled Internet of things (IoT) for B5G/6G networks, from a deep reinforcement learning (DRL) approach. The federated learning is an effective framework to train a shared model between decentralized edge devices or servers without exchanging raw data, which can help protect data privacy. In UAV-enabled IoT networks, latency and energy consumption are two important metrics limiting the performance of FEEL. Although most of existing works have studied how to reduce the latency and improve the energy efficiency, few works have investigated the impact of limited batteries at the devices on the FEEL. Motivated by this, we study the battery-constrained FEEL, where the UAVs can adjust their operating CPU-frequency to prolong the battery life and avoid withdrawing from federated learning training untimely. We optimize the system by jointly allocating the computational resource and wireless bandwidth in time-varying environments. To solve this optimization problem, we employ a deep deterministic policy gradient (DDPG) based strategy, where a linear combination of latency and energy consumption is used to evaluate the system cost. Simulation results are finally demonstrated to show that the proposed strategy outperforms the conventional ones. In particular, it enables all the devices to complete all rounds of FEEL with limited batteries and meanwhile reduce the system cost effectively.


翻译:在本文中,我们研究如何通过深强化学习(DRL)方法,优化UAV 驱动的互联网上B5G/6G网络物质(IoT)的联结边际学习(FEEL),从深度强化学习(DRL)方法出发,优化B5G/6G网络的联结边际边际学习(FEEL),这是在不交换原始数据的情况下,在分散的边际设备或服务器之间训练共同模式的有效框架,可以帮助保护数据隐私。在UAV 驱动的IOT网络中,延缓和能源消耗是限制感觉的两种重要衡量标准。尽管大多数现有工作都研究了如何降低悬浮度和提高能源效率,但很少有工作调查过有限电池装置对感觉的影响。我们研究的是受电池约束的感觉,UAVAVs可以调整其操作的CPU频率,以便延长电池寿命,避免不及时退出节能培训。我们通过在时间变化的环境中联合分配计算资源和无线带宽度来优化系统。为了解决这一优化问题,我们采用了深度确定性的政策梯度梯度梯度(DPG),我们采用了一种深度梯度梯度梯度战略,有效地评估了它所使用的系统,从而展示了所有固定式固定式的系统,从而展示了所有固定式的能源消耗成本。

0
下载
关闭预览

相关内容

Feel,是一款科学地激励用户实现健康生活目标的应用。 想要减肥,塑形,增高,提升活力,睡个好觉,产后恢复……?针对不同的目标,Feel为您定制个性化的健康生活计划,并通过各种记录工具和激励手段帮您实现目标。
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
86+阅读 · 2020年5月11日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Federated Quantum Machine Learning
Arxiv
1+阅读 · 2021年3月22日
Arxiv
0+阅读 · 2021年3月22日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
HAQ: Hardware-Aware Automated Quantization
Arxiv
6+阅读 · 2018年11月21日
VIP会员
相关VIP内容
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
【陈天奇】TVM:端到端自动深度学习编译器,244页ppt
专知会员服务
86+阅读 · 2020年5月11日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
分布式TensorFlow入门指南
机器学习研究会
4+阅读 · 2017年11月28日
Top
微信扫码咨询专知VIP会员