There has been a surge of interest in continual learning and federated learning, both of which are important in deep neural networks in real-world scenarios. Yet little research has been done regarding the scenario where each client learns on a sequence of tasks from a private local data stream. This problem of federated continual learning poses new challenges to continual learning, such as utilizing knowledge from other clients, while preventing interference from irrelevant knowledge. To resolve these issues, we propose a novel federated continual learning framework, Federated Weighted Inter-client Transfer (FedWeIT), which decomposes the network weights into global federated parameters and sparse task-specific parameters, and each client receives selective knowledge from other clients by taking a weighted combination of their task-specific parameters. FedWeIT minimizes interference between incompatible tasks, and also allows positive knowledge transfer across clients during learning. We validate our \emph{FedWeIT}~against existing federated learning and continual learning methods under varying degrees of task similarity across clients, and our model significantly outperforms them with a large reduction in the communication cost.


翻译:对不断学习和联合学习的兴趣激增,这在现实世界中深层神经网络中都很重要。然而,对于每个客户从私人本地数据流中学习一系列任务的情景,研究很少。这个联合持续学习问题给持续学习带来了新的挑战,例如利用其他客户的知识,同时防止来自无关知识的干扰。为了解决这些问题,我们提议了一个全新的联合持续学习框架,即联邦加权客户间传输(FedWeIT),它将网络的重量分解成全球联合参数和零散的任务特定参数,而每个客户通过对任务特定参数的加权组合从其他客户那里获得选择性知识。FedWeIT最大限度地减少互不相容的任务之间的干扰,并允许客户在学习期间进行积极的知识转让。我们确认我们的“Femph{FedWeIT ⁇ ”是针对不同客户不同程度任务下现有的联合学习和持续学习方法的,我们的模型大大超出它们的通信成本。

4
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
94+阅读 · 2020年5月31日
【普林斯顿大学-微软】加权元学习,Weighted Meta-Learning
专知会员服务
39+阅读 · 2020年3月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
机器学习在材料科学中的应用综述,21页pdf
专知会员服务
45+阅读 · 2019年9月24日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Zero-Shot Learning相关资源大列表
专知
51+阅读 · 2019年1月1日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Federated Learning for Physical Layer Design
Arxiv
0+阅读 · 2021年2月23日
Arxiv
1+阅读 · 2021年2月21日
Arxiv
1+阅读 · 2021年2月20日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Arxiv
6+阅读 · 2018年12月10日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Zero-Shot Learning相关资源大列表
专知
51+阅读 · 2019年1月1日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
相关论文
Federated Learning for Physical Layer Design
Arxiv
0+阅读 · 2021年2月23日
Arxiv
1+阅读 · 2021年2月21日
Arxiv
1+阅读 · 2021年2月20日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Arxiv
6+阅读 · 2018年12月10日
Top
微信扫码咨询专知VIP会员