【IJCAI】大规模可扩展深度学习，82页ppt

人工智能的一个基本任务是学习。深度神经网络已经被证明可以完美地处理所有的学习范式，即有监督学习、无监督学习和强化学习。然而，传统的深度学习方法利用云计算设施，不能很好地扩展到计算资源低的自治代理。即使在云计算中，它们也受到计算和内存的限制，不能用来为假设有数十亿神经元的网络的代理建立适当的大型物理世界模型。这些问题在过去几年中通过可扩展深度学习的新兴主题得到了解决，该主题在训练之前和整个过程中利用了神经网络中的静态和自适应稀疏连接。本教程将分两部分介绍这些研究方向，重点是理论进展、实际应用和实践经验。

https://sites.google.com/view/ijcai2020-sparse-training/home