We study practical data characteristics underlying federated learning, where non-i.i.d. data from clients have sparse features, and a certain client's local data normally involves only a small part of the full model, called a submodel. Due to data sparsity, the classical federated averaging (FedAvg) algorithm or its variants will be severely slowed down, because when updating the global model, each client's zero update of the full model excluding its submodel is inaccurately aggregated. Therefore, we propose federated submodel averaging (FedSubAvg), ensuring that the expectation of the global update of each model parameter is equal to the average of the local updates of the clients who involve it. We theoretically proved the convergence rate of FedSubAvg by deriving an upper bound under a new metric called the element-wise gradient norm. In particular, this new metric can characterize the convergence of federated optimization over sparse data, while the conventional metric of squared gradient norm used in FedAvg and its variants cannot. We extensively evaluated FedSubAvg over both public and industrial datasets. The evaluation results demonstrate that FedSubAvg significantly outperforms FedAvg and its variants.


翻译:我们研究联谊学习所依据的实际数据特征,即客户提供的非i.d.d.数据具有稀少的特点,而某个客户的本地数据通常只涉及称为子模型的完整模型的一小部分。由于数据宽度,古典联谊平均(FedAvg)算法或其变体将大大减慢,因为当更新全球模型时,每个客户对不包括其子模型的完整模型的零更新都是不准确的汇总。因此,我们提议采用联谊子模型平均值(FedSubAvg),确保每个模型参数全球更新的期望与参与该参数的客户在当地更新的平均值相等。我们理论上证明FedSubAvg的趋同率,在称为元素梯度规范的新指标下得出了一个上限。特别是,这一新指标可以说明联谊优化比稀散数据趋一致,而FedAvg使用的平梯规范常规度则无法精确地加以比较。我们广泛评价了FedSubAvg对公共和工业数据集的当地更新的平均数。我们从理论上证明了FedSubAvg的变式。

0
下载
关闭预览

相关内容

iOS 8 提供的应用间和应用跟系统的功能交互特性。
  • Today (iOS and OS X): widgets for the Today view of Notification Center
  • Share (iOS and OS X): post content to web services or share content with others
  • Actions (iOS and OS X): app extensions to view or manipulate inside another app
  • Photo Editing (iOS): edit a photo or video in Apple's Photos app with extensions from a third-party apps
  • Finder Sync (OS X): remote file storage in the Finder with support for Finder content annotation
  • Storage Provider (iOS): an interface between files inside an app and other apps on a user's device
  • Custom Keyboard (iOS): system-wide alternative keyboards

Source: iOS 8 Extensions: Apple’s Plan for a Powerful App Ecosystem
【UAI2021教程】贝叶斯最优学习,65页ppt
专知会员服务
63+阅读 · 2021年8月7日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
Yoshua Bengio,使算法知道“为什么”
专知会员服务
7+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
人工智能 | ACCV 2020等国际会议信息5条
Call4Papers
6+阅读 · 2019年6月21日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
人工智能 | ISAIR 2019诚邀稿件(推荐SCI期刊)
Call4Papers
6+阅读 · 2019年4月1日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
人工智能 | 国际会议信息6条
Call4Papers
4+阅读 · 2019年1月4日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
人工智能 | COLT 2019等国际会议信息9条
Call4Papers
6+阅读 · 2018年9月21日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
已删除
将门创投
5+阅读 · 2017年11月20日
Merging Models with Fisher-Weighted Averaging
Arxiv
0+阅读 · 2021年11月18日
Arxiv
7+阅读 · 2021年4月30日
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
VIP会员
相关资讯
人工智能 | ACCV 2020等国际会议信息5条
Call4Papers
6+阅读 · 2019年6月21日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
人工智能 | ISAIR 2019诚邀稿件(推荐SCI期刊)
Call4Papers
6+阅读 · 2019年4月1日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
人工智能 | 国际会议信息6条
Call4Papers
4+阅读 · 2019年1月4日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
人工智能 | COLT 2019等国际会议信息9条
Call4Papers
6+阅读 · 2018年9月21日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
已删除
将门创投
5+阅读 · 2017年11月20日
Top
微信扫码咨询专知VIP会员