In recent years, mobile clients' computing ability and storage capacity have greatly improved, efficiently dealing with some applications locally. Federated learning is a promising distributed machine learning solution that uses local computing and local data to train the Artificial Intelligence (AI) model. Combining local computing and federated learning can train a powerful AI model under the premise of ensuring local data privacy while making full use of mobile clients' resources. However, the heterogeneity of local data, that is, Non-independent and identical distribution (Non-IID) and imbalance of local data size, may bring a bottleneck hindering the application of federated learning in mobile edge computing (MEC) system. Inspired by this, we propose a cluster-based clients selection method that can generate a federated virtual dataset that satisfies the global distribution to offset the impact of data heterogeneity and proved that the proposed scheme could converge to an approximate optimal solution. Based on the clustering method, we propose an auction-based clients selection scheme within each cluster that fully considers the system's energy heterogeneity and gives the Nash equilibrium solution of the proposed scheme for balance the energy consumption and improving the convergence rate. The simulation results show that our proposed selection methods and auction-based federated learning can achieve better performance with the Convolutional Neural Network model (CNN) under different data distributions.


翻译:近年来,移动客户的计算能力和存储能力大大提高,高效率地处理当地的一些应用。联邦学习是一个有希望的分布式机器学习解决方案,利用本地计算和地方数据培训人工智能模型。将本地计算和联合学习相结合,可以在确保本地数据隐私和充分利用移动客户资源的前提下,培训一个强大的AI模型。然而,当地数据的多样性,即非独立和相同的分配(非IID)和本地数据大小的不平衡,可能会给移动边缘计算系统中联邦化学习的应用带来瓶颈。受此启发,我们提议了一个基于集群的客户选择模式,该模式可以产生一种符合全球分布的联邦化虚拟数据集,以抵消数据异常性的影响,并证明拟议的计划可以趋于接近最佳解决方案。基于集群方法,我们提议在每个组内采用拍卖客户选择计划,以充分考虑系统的能源差异性,并在拟议的移动边缘计算系统(MEC)系统中采用纳什平衡型客户选择方案。我们提议采用的方法,可以更好地实现平衡消费和升级数据选择方法的趋同率。

1
下载
关闭预览

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
【图与几何深度学习】Graph and geometric deep learning,49页ppt
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
近期必读的五篇KDD 2020【推荐系统 (RS) 】相关论文
专知会员服务
64+阅读 · 2020年8月11日
【边缘智能综述论文】A Survey on Edge Intelligence
专知会员服务
121+阅读 · 2020年3月30日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
CCF推荐 | 国际会议信息10条
Call4Papers
8+阅读 · 2019年5月27日
CCF推荐 | 国际会议信息8条
Call4Papers
9+阅读 · 2019年5月23日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Arxiv
10+阅读 · 2021年3月30日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
3+阅读 · 2020年5月1日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
VIP会员
相关VIP内容
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
CCF推荐 | 国际会议信息10条
Call4Papers
8+阅读 · 2019年5月27日
CCF推荐 | 国际会议信息8条
Call4Papers
9+阅读 · 2019年5月23日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Top
微信扫码咨询专知VIP会员