深度神经网络最近展示了它们解决复杂任务的惊人能力。今天的模型训练了数以百万计的例子,能够可靠地注释图像,翻译文本,理解口语或玩战略游戏,如国际象棋或围棋。与此同时,无线网络上的智能设备(如智能手机、物联网设备)数量迅速增长。这些设备都配备了传感器和越来越强大的处理器,使它们能够以前所未有的规模收集和处理数据。这一发展为深度学习方法革新这些应用程序提供了一个独特的机会。

然而,由于有限的资源(例如,带宽和功率)、延迟约束和数据隐私问题,集中式训练方案,即要求所有数据驻留在一个中心位置,并且是所有上述成功的基础,在无线网络设置中不再可用。因此,这些训练方法越来越多地被分布式深度学习所取代,分布式深度学习允许多个参与方在他们组合的数据上联合训练一个模型,而不需要任何参与者向其他参与方或中央服务器透露他们的本地数据。这种新的协作式训练将学习集中在模型实际使用的位置(即网络边缘),从而将延迟和资源消耗最小化。

本教程的目的是介绍分布式深度学习中最重要的概念和方法,并系统地讨论它们在无线网络中的应用所面临的挑战和优势。本教程将不仅提供了理论的理解分布式学习问题(如分布式SGD,联合平均,收敛结果),讲解从信息理论的相关概念,优化和无线通讯,还讨论了小技巧(例如,错误积累,同步,客户端集群),分布式学习计划工作实践。此外,我们将介绍最新的发展和趋势,特别是分布式学习在无线网络中的应用,并对相关的标准化活动(如ITU FG ML5G, MPEG AHG CNNMCD)进行第一手总结。

我们的目标是让与会者(1)了解分布式和联合学习的方法和理论概念,(2)概述这些领域的最新发展,(3)了解如何在无线网络中实际应用这些方法。

成为VIP会员查看完整内容
52

相关内容

【2020新书】《图核方法最新进展与未来挑战》,151页pdf
专知会员服务
63+阅读 · 2020年11月15日
【CIKM2020】神经贝叶斯信息处理,220页ppt,国立交通大学
专知会员服务
32+阅读 · 2020年10月26日
【ECML/PKDD20教程】图表示学习与应用,200页ppt
专知会员服务
90+阅读 · 2020年10月18日
物联网时代分布式深度学习新方向
专知会员服务
53+阅读 · 2020年8月30日
【ICML2020Tutorial】机器学习信号处理,100页ppt
专知会员服务
108+阅读 · 2020年8月15日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
123+阅读 · 2020年7月20日
斯坦福EE364a《凸优化》课件,301页ppt
专知会员服务
93+阅读 · 2020年7月14日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
知识图谱中的深度学习技术应用概述
深度学习与NLP
11+阅读 · 2018年9月13日
多媒体大数据分析研究进展综述导读
专知
8+阅读 · 2018年3月19日
深入浅出:GAN原理与应用入门介绍
深度学习世界
6+阅读 · 2017年8月23日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
12+阅读 · 2017年5月19日
Arxiv
0+阅读 · 2021年1月15日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
Arxiv
3+阅读 · 2018年6月19日
VIP会员
相关VIP内容
【2020新书】《图核方法最新进展与未来挑战》,151页pdf
专知会员服务
63+阅读 · 2020年11月15日
【CIKM2020】神经贝叶斯信息处理,220页ppt,国立交通大学
专知会员服务
32+阅读 · 2020年10月26日
【ECML/PKDD20教程】图表示学习与应用,200页ppt
专知会员服务
90+阅读 · 2020年10月18日
物联网时代分布式深度学习新方向
专知会员服务
53+阅读 · 2020年8月30日
【ICML2020Tutorial】机器学习信号处理,100页ppt
专知会员服务
108+阅读 · 2020年8月15日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
123+阅读 · 2020年7月20日
斯坦福EE364a《凸优化》课件,301页ppt
专知会员服务
93+阅读 · 2020年7月14日
相关资讯
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
知识图谱中的深度学习技术应用概述
深度学习与NLP
11+阅读 · 2018年9月13日
多媒体大数据分析研究进展综述导读
专知
8+阅读 · 2018年3月19日
深入浅出:GAN原理与应用入门介绍
深度学习世界
6+阅读 · 2017年8月23日
边缘计算:万物互联时代新型计算模型
计算机研究与发展
12+阅读 · 2017年5月19日
微信扫码咨询专知VIP会员