In this paper, we investigate how to deploy computational intelligence and deep learning (DL) in edge-enabled industrial IoT networks. In this system, the IoT devices can collaboratively train a shared model without compromising data privacy. However, due to limited resources in the industrial IoT networks, including computational power, bandwidth, and channel state, it is challenging for many devices to accomplish local training and upload weights to the edge server in time. To address this issue, we propose a novel multi-exit-based federated edge learning (ME-FEEL) framework, where the deep model can be divided into several sub-models with different depths and output prediction from the exit in the corresponding sub-model. In this way, the devices with insufficient computational power can choose the earlier exits and avoid training the complete model, which can help reduce computational latency and enable devices to participate into aggregation as much as possible within a latency threshold. Moreover, we propose a greedy approach-based exit selection and bandwidth allocation algorithm to maximize the total number of exits in each communication round. Simulation experiments are conducted on the classical Fashion-MNIST dataset under a non-independent and identically distributed (non-IID) setting, and it shows that the proposed strategy outperforms the conventional FL. In particular, the proposed ME-FEEL can achieve an accuracy gain up to 32.7% in the industrial IoT networks with the severely limited resources.


翻译:在本文中,我们调查如何在边缘带动的工业 IoT 网络中部署计算智能和深度学习(DL) 。在这个系统中, IoT 设备可以合作训练一个共享模型,而不会损害数据隐私。然而,由于工业IoT 网络的资源有限,包括计算能力、带宽和频道状态,许多设备很难及时完成本地培训和向边缘服务器上传重量。为了解决这个问题,我们提议了一个新型的多输出法化边际边际学习(ME-FEEL)框架,在这个框架中,深模型可以分为几个子模型,其深度不同,产出预测也不同。然而,在相应的子模型中,计算能力不足的装置可以选择早期出口,并避免培训完整的模型,这样可以帮助减少计算力,使装置能够在一个通度阈值门槛内尽可能多地参与集成。此外,我们提议一种基于贪婪的退出法化方法选择和带宽度分配算法,以最大限度地增加每次通信的退出总数。 在传统的F-L IMIS 战略中,在传统的FAS-FAS-MIS-I 中, 将一个不完全的模型进行模拟实验,在传统的FASimal-MISISIS-I-I-I-I-I-I-I-I-IST-FS-SD AS-FS-FS-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-S-SD 上显示一个不连续的模型上进行不连续式的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模拟的模拟中进行不等式的模拟的模拟的模拟的模拟式的模拟式的模拟式的模拟试验。

0
下载
关闭预览

相关内容

计算智能(Computational Intelligence)这本领先的国际期刊促进和刺激了人工智能(AI)领域的研究。计算智能涵盖了从人工智能的工具和语言到其哲学含义的广泛问题,为实验和理论研究、调查和影响研究的出版提供了一个活跃的论坛。该杂志是为了满足学术和工业研究中广泛的人工智能工作者的需求而设计的。 官网地址:http://dblp.uni-trier.de/db/journals/ci/
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
计算机类 | SIGMETRICS 2019等国际会议信息7条
Call4Papers
9+阅读 · 2018年10月23日
人工智能类 | 国际会议/SCI期刊专刊信息9条
Call4Papers
4+阅读 · 2018年7月10日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
计算机类 | 期刊专刊截稿信息9条
Call4Papers
4+阅读 · 2018年1月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Multi-Label Learning with Label Enhancement
Arxiv
4+阅读 · 2019年4月16日
Arxiv
6+阅读 · 2018年12月10日
VIP会员
相关VIP内容
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
计算机类 | SIGMETRICS 2019等国际会议信息7条
Call4Papers
9+阅读 · 2018年10月23日
人工智能类 | 国际会议/SCI期刊专刊信息9条
Call4Papers
4+阅读 · 2018年7月10日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
计算机类 | 期刊专刊截稿信息9条
Call4Papers
4+阅读 · 2018年1月26日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员