Over-the-air computation (OAC) is a promising technique to realize fast model aggregation in the uplink of federated edge learning. OAC, however, hinges on accurate channel-gain precoding and strict synchronization among the edge devices, which are challenging in practice. As such, how to design the maximum likelihood (ML) estimator in the presence of residual channel-gain mismatch and asynchronies is an open problem. To fill this gap, this paper formulates the problem of misaligned OAC for federated edge learning and puts forth a whitened matched filtering and sampling scheme to obtain oversampled, but independent, samples from the misaligned and overlapped signals. Given the whitened samples, a sum-product ML estimator and an aligned-sample estimator are devised to estimate the arithmetic sum of the transmitted symbols. In particular, the computational complexity of our sum-product ML estimator is linear in the packet length and hence is significantly lower than the conventional ML estimator. Extensive simulations on the test accuracy versus the average received energy per symbol to noise power spectral density ratio (EsN0) yield two main results: 1) In the low EsN0 regime, the aligned-sample estimator can achieve superior test accuracy provided that the phase misalignment is non-severe. In contrast, the ML estimator does not work well due to the error propagation and noise enhancement in the estimation process. 2) In the high EsN0 regime, the ML estimator attains the optimal learning performance regardless of the severity of phase misalignment. On the other hand, the aligned-sample estimator suffers from a test-accuracy loss caused by phase misalignment.


翻译:超天计算( OAC ) 是一个很有希望的技术, 可以在联邦边缘学习的上链中实现快速模型集。 但是, OAC 取决于准确的频道加码预编码和边缘设备之间的严格同步, 在实践中具有挑战性。 因此, 如何设计最大可能性( ML) 估测器, 以存在剩余频道加益错配和不同步的问题 。 为了填补这一空白, 本文将 OAC 错误的 OAC 问题写成用于Federored 边缘学习, 并推出一个匹配的过滤和采样方案, 以获得过份但独立、 从错误和重叠的信号中提取样本。 鉴于精选的样本, 合成产品 ML 估测器和对齐阶段的估测器设计, 估计传输符号的计算总和。 特别是, 我们的 ML 估测仪的计算复杂性在包长度中是线直线, 因而大大低于常规 ML 估测仪。 在两次测试的精度上进行广泛的模拟, 而不是平均收到的精度的精度, 升的精度的精度的精度, ML 将达到E0 的精度的精度的精度的精度的精度的精度, 的精度的精度, 水平的精度在一次的精度测试的精度的精度的精度的精度的精度, 升的精度 的精度的精度的精度的精度的精度 的精度 的精度将的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度到精度 的精度 的精度 的精度 的精度到精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度

0
下载
关闭预览

相关内容

知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
145+阅读 · 2019年10月27日
MIT新书《强化学习与最优控制》
专知会员服务
275+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年10月29日
Communication-Efficient ADMM-based Federated Learning
Arxiv
0+阅读 · 2021年10月28日
Arxiv
6+阅读 · 2018年4月24日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
相关VIP内容
相关资讯
Federated Learning: 架构
AINLP
4+阅读 · 2020年9月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员