【硬核课】分布式深度学习，93页ppt概述最新DDL技术发展

【导读】深度学习与计算系统结合是现在业界发展的趋势。Logical Clocks的CEO Jim Dowling讲述了分布式深度学习最新技术发展，以及其Hosworks开源平台。

人工智能的需求在过去十年中显著增长，很大程度是深度学习的进步。这种增长是由深度(机器)学习技术的进步和利用硬件加速的能力推动的。然而，为了提高预测的质量和使机器学习解决方案在更复杂的应用中可行，需要大量的训练数据。尽管小型机器学习模型可以用适量的数据进行训练，但用于训练较大模型(如神经网络)的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器计算能力的增长，因此需要将机器学习工作量分散到多台机器上，并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战，首先是训练过程的有效并行化和一致模型的创建。

分布式深度学习有很多好处——使用更多的GPU更快地训练模型，在许多GPU上并行超参数调优，并行消融研究以帮助理解深度神经网络的行为和性能。随着Spark 3.0的出现，GPU开始转向执行器，使用PySpark的分布式深度学习现在成为可能。然而，PySpark给迭代模型开发带来了挑战——从开发机器(笔记本电脑)开始，然后重新编写它们以运行在基于集群的环境中。

本讲座概述了分布式深度学习的技术，并提供了可用系统的概述，从而对该领域当前的最新技术进行了广泛的概述。

Jim Dowling是 Logical Clocks公司的首席执行官，也是KTH皇家理工学院的副教授。他是开源的Hopsworks平台的首席架构师，这是一个横向可扩展的机器学习数据平台。

https://www.slideshare.net/dowlingjim/invited-lecture-on-gpus-and-distributed-deep-learning-at-uppsala-university