【IJCAI 2019】可扩展的深度学习:从理论到实践（Scalable Deep Learning: from theory to practice），Decebal Constantin Mocanu，Elena Mocanu

报告主题： Scalable Deep Learning: from theory to practice

简介：

人工智能的一个基本任务是学习。深度神经网络已被证明可以完美地应对所有的学习范式，即监督学习、非监督学习和强化学习。然而，传统的深度学习方法利用云计算设施不能很好地扩展到计算资源少的自主代理。即使在云计算中，它们也受到计算和内存的限制，不能用于为假定网络中有数十亿神经元的代理建立适当的大型物理世界模型。这些问题在过去几年通过可扩展和高效的深度学习的新兴主题得到了解决。本教程涵盖了这些主题，重点是理论进步、实际应用和实践经验，分为两部分。

• 第一部分 -可扩展的深度学习:从修剪到演化。

  本教程的第一部分侧重于理论。首先修正目前有多少代理使用深度神经网络。然后介绍了神经网络的基本概念，并从功能和拓扑的角度将人工神经网络与生物神经网络进行了比较。我们接着介绍了90年代早期的第一篇关于高效神经网络的论文，这些论文使用稀疏执行或基于不同显著性标准的全连通网络的权值剪枝。然后，我们回顾了近年来一些从全连通网络出发，利用剪枝再训练循环压缩深度神经网络，使其在推理阶段更有效的工作。然后我们讨论另一种方法，即增强拓扑的神经进化及其后续，使用进化计算来增长有效的深度神经网络。

• 第二部分:可扩展的深度学习:深度强化学习

  到目前为止，一切都是在监督和非监督学习的背景下讨论的。在此基础上，我们引入了深度强化学习，为可扩展的深度强化学习奠定了基础。我们描述了在深度强化学习领域的一些最新进展，这些进展可以用来提高强化学习主体在面对动态变化的环境时的性能，就像在能量系统中经常出现的情况一样。

邀请嘉宾：

Decebal Constantin Mocanu是埃因霍芬理工大学(TU/e)数学与计算机科学系数据挖掘组人工智能与机器学习助理教授(2017年9月至今)，TU/e青年工程院院士。他的研究兴趣是利用网络科学、进化计算、优化和神经科学的原理，构想可扩展的深度人工神经网络模型及其相应的学习算法。

Elena Mocanu是特温特大学(University of Twente)数据科学小组的机器学习助理教授，也是艾恩德霍芬理工大学(Eindhoven University of Technology)的研究员。2013年10月，埃琳娜在德国理工大学开始了她在机器学习和智能电网方面的博士研究。2015年1月，她在丹麦技术大学进行了短暂的研究访问，2016年1月至4月，她是美国奥斯汀德克萨斯大学的访问研究员。2017年，埃琳娜在德国理工大学获得了机器学习和智能电网的哲学博士学位。

Damien Ernst目前在列日大学(University of Liege)担任全职教授。在列日大学获得硕士学位，博士后研究期间，由FNRS资助，在CMU、美国麻省理工学院和苏黎世联邦理工学院度过。他现在正在做能源和人工智能领域的研究。