【Yoshua Bengio演讲NeurIPS2019报告】深度学习系统1代到2代，36页ppt，From System 1 Deep Learning to System 2 Deep Learning

报告主题： From System 1 Deep Learning to System 2 Deep Learning

报告简介： 早期，深度学习的进展主要集中在对静态数据集的学习上，主要用于各类感知任务，这些任务大都依靠人类的直觉，可以在无意识的情况下完成，可称为第一代系统需求。然而，最近几年，随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展，它们为深度学习架构和训练框架的进一步发展，开启了新的大门，这种深度架构和训练框架有助于解决第二代系统需求（这种系统任务需要人类有意识的去完成），如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。从第一代系统的深度学习，扩展到第二代系统的任务之中，对于完成之前挖掘高层次抽象特征的目标是非常重要的，因为我们认为第二代系统需求，将会对表征学习提出更高的要求，以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为，为了达到这个目标，soft-attention机制是关键因素，它每次都关注其中某几个概念并进行计算，因为意识先验及其相关的假设中，许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后，报告介绍了元学习，这种先验意识和代理视角下的表征学习，会更加有助于以新颖的方式，支持强大的合成泛化形式。

嘉宾介绍： Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授，Mila和IVADO的科学总监和创始人，2018年图灵奖获得者，加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河，并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员，加拿大皇家学会的成员，并于2017年被授予基拉姆奖，玛丽·维克多奖和年度无线电加拿大科学家，并且是NeurIPS顾问的成员, ICLR会议的董事会和联合创始人，以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理，并促进AI的发展以造福所有人。