Most edge AI focuses on prediction tasks on resource-limited edge devices, while the training is done at server machines, so retraining a model on the edge devices to reflect environmental changes is a complicated task. To follow such a concept drift, a neural-network based on-device learning approach is recently proposed, so that edge devices train incoming data at runtime to update their model. In this case, since a training is done at distributed edge devices, the issue is that only a limited amount of training data can be used for each edge device. To address this issue, one approach is a cooperative learning or federated learning, where edge devices exchange their trained results and update their model by using those collected from the other devices. In this paper, as an on-device learning algorithm, we focus on OS-ELM (Online Sequential Extreme Learning Machine) and combine it with autoencoder for anomaly detection. We extend it for an on-device federated learning so that edge devices can exchange their trained results and update their model by using those collected from the other edge devices. Evaluation results using a driving dataset of cars and a human activity dataset demonstrate that the proposed on-device federated learning can produce a merged model by combining trained results from multiple edge devices as accurately as a conventional backpropagation based neural network. Latency for the merging is reasonable, and it can merge the models faster than continuously executing the sequential learning.


翻译:大部分的边缘AI 侧重于资源有限边缘装置的预测任务, 而培训是在服务器机上完成的, 因此在边缘装置上对模型进行再培训以反映环境变化是一个复杂的任务。 为了跟踪这种概念漂移, 最近提出了基于设备学习的神经网络方法, 因此边缘装置在运行时将输入的数据用于更新模型。 在这种情况下, 由于在分布式边缘装置上进行了培训, 问题在于每个边缘装置只能使用数量有限的培训数据。 要解决这个问题, 一种方法是合作学习或联合学习, 边装置交换其经过训练的结果, 并使用从其他装置收集的模型更新模型。 在本文中, 作为一种在线学习算法, 我们侧重于OS- ELM( 在线序列极端学习机器), 并将这些数据与自动解析器结合起来, 以便通过使用从其他边缘装置收集的更快的模型来交换训练的结果并更新模型。 使用合理驱动的汽车数据集来更新模型更新模型, 并使用人类连续的直线模型来更新模型, 将常规网络的升级模型作为学习结果, 以学习模型作为学习的常规模型, 复制模型, 复制模型作为学习基础的模型,, 复制模型 复制模型 复制模型, 以 复制 复制 复制 复制 复制 复制 复制 复制 复制 的 复制 复制的 复制 复制 复制 的,,, 复制 复制 以 复制 复制 复制 复制 复制 复制 复制 复制 复制 的 的 的 复制 复制 复制 复制 复制 复制 复制 的 的 的 复制 的 复制 复制 的 的 复制 的 的 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 的 的 的 复制 复制 复制 的 的 复制 复制 的 的 复制 的 复制 的 的 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 复制 的 的 复制 复制 的 的 的 的 的 的 的 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作 制作

0
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
88+阅读 · 2020年12月2日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
60+阅读 · 2019年12月21日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
已删除
将门创投
3+阅读 · 2019年1月29日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年5月26日
Arxiv
0+阅读 · 2021年5月24日
Arxiv
0+阅读 · 2021年5月20日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
VIP会员
相关VIP内容
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
已删除
将门创投
3+阅读 · 2019年1月29日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
0+阅读 · 2021年5月26日
Arxiv
0+阅读 · 2021年5月24日
Arxiv
0+阅读 · 2021年5月20日
Advances and Open Problems in Federated Learning
Arxiv
18+阅读 · 2019年12月10日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Top
微信扫码咨询专知VIP会员