无线网络中的分布式深度学习:概念、方法与应用，140页ppt，IEEE GLOBECOM 2020 Tutorial

深度神经网络最近展示了它们解决复杂任务的惊人能力。今天的模型训练了数以百万计的例子，能够可靠地注释图像，翻译文本，理解口语或玩战略游戏，如国际象棋或围棋。与此同时，无线网络上的智能设备(如智能手机、物联网设备)数量迅速增长。这些设备都配备了传感器和越来越强大的处理器，使它们能够以前所未有的规模收集和处理数据。这一发展为深度学习方法革新这些应用程序提供了一个独特的机会。

然而，由于有限的资源(例如，带宽和功率)、延迟约束和数据隐私问题，集中式训练方案，即要求所有数据驻留在一个中心位置，并且是所有上述成功的基础，在无线网络设置中不再可用。因此，这些训练方法越来越多地被分布式深度学习所取代，分布式深度学习允许多个参与方在他们组合的数据上联合训练一个模型，而不需要任何参与者向其他参与方或中央服务器透露他们的本地数据。这种新的协作式训练将学习集中在模型实际使用的位置(即网络边缘)，从而将延迟和资源消耗最小化。

本教程的目的是介绍分布式深度学习中最重要的概念和方法，并系统地讨论它们在无线网络中的应用所面临的挑战和优势。本教程将不仅提供了理论的理解分布式学习问题(如分布式SGD,联合平均,收敛结果),讲解从信息理论的相关概念,优化和无线通讯,还讨论了小技巧(例如,错误积累,同步,客户端集群),分布式学习计划工作实践。此外，我们将介绍最新的发展和趋势，特别是分布式学习在无线网络中的应用，并对相关的标准化活动(如ITU FG ML5G, MPEG AHG CNNMCD)进行第一手总结。

我们的目标是让与会者(1)了解分布式和联合学习的方法和理论概念，(2)概述这些领域的最新发展，(3)了解如何在无线网络中实际应用这些方法。