【ICASSP2020】分布式与高效深度学习，140页ppt详述深度学习压缩与联邦学习训练技术进展

2020 年 5 月 6 日 专知

【导读】语音领域顶级会议ICASSP2020正在举行，由于疫情影响，今年的ICASSP会议采用全线上举行。来自Wojciech Samek和Felix Sattler学者做了关于分布式与高效深度学习教程，非常值得学习。

地址：

http://federated-ml.org/tutorials/icassp2020/

深度神经网络最近展示了其解决复杂任务的惊人能力。如今的模型使用功能强大的GPU卡在数百万个示例上进行训练，能够可靠地对图像进行注释、翻译文本、理解口语或玩国际象棋或围棋等战略性游戏。此外，深度学习也将成为未来许多技术的组成部分，例如自动驾驶、物联网(IoT)或5G网络。特别是随着物联网的出现，智能设备的数量在过去几年里迅速增长。这些设备中有许多都配备了传感器，使它们能够以前所未有的规模收集和处理数据。这为深度学习方法提供了独特的机会。

然而，这些新的应用程序带有许多附加的约束和要求，这些约束和要求限制了当前模型的开箱即用。

1. 嵌入式设备、物联网设备和智能手机的内存和存储容量有限，能源资源有限。像VGG-16这样的深度神经网络需要超过500 MB的内存来存储参数，执行单次向前传递需要15 gb的操作。很明显，这些模型的当前(未压缩的)形式不能在设备上使用。

2. 训练数据通常分布在设备上，由于隐私问题或有限的资源(带宽)，无法简单地在中央服务器上收集。由于只有少量数据点的模型的局部训练通常不太有希望，因此需要新的协作训练方案来将深度学习的能力引入这些分布式应用程序。

本教程将讨论最近提出的解决这两个问题的技术。我们将首先简要介绍深度学习，它的当前使用和今天的模型在计算和内存复杂性、能源效率和分布式环境方面的局限性。我们将强调解决这些问题的实际需要，并讨论实现这一目标的最新进展，包括ITU ML5G和MPEG AHG CNNMCD正在开展的标准化活动。

然后我们将进入神经网络压缩的话题。我们将首先简要介绍源编码和信息论的基本概念，包括速率失真理论、量化、熵编码和最小描述长度原则。这些概念需要形式化的神经网络压缩问题。然后我们将继续讨论压缩DNNs的具体技术。为此，我们将区分压缩过程的不同步骤，即剪枝和稀疏化、量化和熵编码。前两步是有损的，而最后一步是无损的。由于缩小尺寸并不是神经网络压缩的唯一目标(例如，快速推理、能源效率是其他目标)，我们还将讨论有效推理的方法，包括最近提出的神经网络格式。最后，我们将介绍一个用例，即设备上的语音识别，演示如何在实际应用中使用压缩方法。

最后我们将介绍分布式学习的最新发展。我们提出了不同的分布式训练场景，并根据它们的通信特性进行了比较。接下来，我们将重点讨论联邦学习。我们列举了联邦学习中存在的挑战——通信效率、数据异构性、隐私、个性化、健壮性——并提出了解决这些挑战的方法。我们特别关注为减少分布式学习中的通信开销而提出的技术，并讨论集群化FL，这是一种与模型无关的分布式多任务优化的新方法。这里我们将强调本教程第一部分中介绍的概念的相似性，即稀疏化、量化和编码。

目录：

1. 介绍

-目前使用的深度学习

-现有模型和新应用的实际局限性

-研究、工业和标准化方面的最新发展

2. 神经网络压缩

-背景:资料编码、信息论

-修剪和稀疏化方法

-量化和定点推理

-神经网络格式

-用例研究:设备上的语音识别

3.问题