Over-the-air computation (OAC) is a promising technique to realize fast model aggregation in the uplink of federated edge learning. OAC, however, hinges on accurate channel-gain precoding and strict synchronization among the edge devices, which are challenging in practice. As such, how to design the maximum likelihood (ML) estimator in the presence of residual channel-gain mismatch and asynchronies is an open problem. To fill this gap, this paper formulates the problem of misaligned OAC for federated edge learning and puts forth a whitened matched filtering and sampling scheme to obtain oversampled, but independent, samples from the misaligned and overlapped signals. Given the whitened samples, a sum-product ML estimator and an aligned-sample estimator are devised to estimate the arithmetic sum of the transmitted symbols. In particular, the computational complexity of our sum-product ML estimator is linear in the packet length and hence is significantly lower than the conventional ML estimator. Extensive simulations on the test accuracy versus the average received energy per symbol to noise power spectral density ratio (EsN0) yield two main results: 1) In the low EsN0 regime, the aligned-sample estimator can achieve superior test accuracy provided that the phase misalignment is non-severe. In contrast, the ML estimator does not work well due to the error propagation and noise enhancement in the estimation process. 2) In the high EsN0 regime, the ML estimator attains the optimal learning performance regardless of the severity of phase misalignment. On the other hand, the aligned-sample estimator suffers from a test-accuracy loss caused by phase misalignment.


翻译:超天计算( OAC ) 是一个很有希望的技术, 可以在联邦边缘学习的上链中实现快速模型集。 但是, OAC 取决于准确的频道加码预编码和边缘设备之间的严格同步, 在实践中具有挑战性。 因此, 如何设计最大可能性( ML) 估测器, 以存在剩余频道加益错配和不同步的问题 。 为了填补这一空白, 本文将 OAC 错误的 OAC 问题写成用于Federored 边缘学习, 并推出一个匹配的过滤和采样方案, 以获得过份但独立、 从错误和重叠的信号中提取样本。 鉴于精选的样本, 合成产品 ML 估测器和对齐阶段的估测器设计, 估计传输符号的计算总和。 特别是, 我们的 ML 估测仪的计算复杂性在包长度中是线直线, 因而大大低于常规 ML 估测仪。 在两次测试的精度上进行广泛的模拟, 而不是平均收到的精度的精度, 升的精度的精度的精度, ML 将达到E0 的精度的精度的精度的精度的精度的精度, 的精度的精度, 水平的精度在一次的精度测试的精度的精度的精度的精度的精度, 升的精度 的精度的精度的精度的精度的精度 的精度 的精度将的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度 的精度到精度 的精度 的精度 的精度 的精度到精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度的精度

0
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年6月6日
Wide Network Learning with Differential Privacy
Arxiv
0+阅读 · 2021年6月4日
Arxiv
7+阅读 · 2021年4月30日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
3+阅读 · 2020年4月29日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
carla 学习笔记
CreateAMind
9+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员