We propose a federated averaging Langevin algorithm (FA-LD) for uncertainty quantification and mean predictions with distributed clients. In particular, we generalize beyond normal posterior distributions and consider a general class of models. We develop theoretical guarantees for FA-LD for strongly log-concave distributions with non-i.i.d data and study how the injected noise and the stochastic-gradient noise, the heterogeneity of data, and the varying learning rates affect the convergence. Such an analysis sheds light on the optimal choice of local updates to minimize communication costs. Important to our approach is that the communication efficiency does not deteriorate with the injected noise in the Langevin algorithms. In addition, we examine in our FA-LD algorithm both independent and correlated noise used over different clients. We observe that there is also a trade-off between federation and communication cost there. As local devices may become inactive in the federated network, we also show convergence results based on different averaging schemes where only partial device updates are available.


翻译:我们建议采用联盟平均朗埃文算法(FA-LD)来对不确定性进行量化,并与分布式客户进行平均预测。特别是,我们普遍采用超出正常的后方分布,并考虑一般的模型类别。我们为FA-LD制定了理论保障,以便与非i.i.d.数据和研究注射噪音和随机偏移噪音、数据的异质性以及不同的学习率如何影响趋同。这种分析为当地更新的最佳选择提供了线索,以尽量减少通信成本。我们的方法很重要的是,Langevin算法中注入的噪音不会使通信效率恶化。此外,我们在我们的FA-LD算法中检查了不同客户所使用的独立和关联的噪音。我们发现,那里的联邦和通信成本之间也有某种权衡。由于联邦网络中的当地设备可能变得不活跃,我们还显示了基于不同平均方法的趋同结果,因为只有局部的设备更新。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
25+阅读 · 2021年4月2日
专知会员服务
50+阅读 · 2020年12月14日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
已删除
AI科技评论
4+阅读 · 2018年8月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
7+阅读 · 2021年4月30日
Arxiv
4+阅读 · 2021年1月14日
Arxiv
4+阅读 · 2019年1月14日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
人工智能 | SCI期刊专刊信息3条
Call4Papers
5+阅读 · 2019年1月10日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
已删除
AI科技评论
4+阅读 · 2018年8月12日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员