【Yoshua Bengio特邀报告NeurIPS2019】深度学习系统从1代到2代，36页ppt概述DL进展与未来- 专知

【Yoshua Bengio特邀报告NeurIPS2019】深度学习系统从1代到2代，36页ppt概述DL进展与未来

【导读】人工智能顶会NeurlPS 2019周日在温哥华盛大开幕，自1987年至今已有32年的历史，是人工智能领域最富盛名的会议之一。本文为大家带来了Yoshua Bengio在会议上所作报告。

介绍

早期，深度学习的进展主要集中在对静态数据集的学习上，主要用于各类感知任务，这些任务大都依靠人类的直觉，可以在无意识的情况下完成，可称为第一代系统需求。然而，最近几年，随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展，它们为深度学习架构和训练框架的进一步发展，开启了新的大门，这种深度架构和训练框架有助于解决第二代系统需求（这种系统任务需要人类有意识的去完成），如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。从第一代系统的深度学习，扩展到第二代系统的任务之中，对于完成之前挖掘高层次抽象特征的目标是非常重要的，因为我们认为第二代系统需求，将会对表征学习提出更高的要求，以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为，为了达到这个目标，soft-attention机制是关键因素，它每次都关注其中某几个概念并进行计算，因为意识先验及其相关的假设中，许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后，报告介绍了元学习，这种先验意识和代理视角下的表征学习，会更加有助于以新颖的方式，支持强大的合成泛化形式。