深度学习巨头Yoshua Bengio清华演讲: 深度学习通往人类水平人工智能的挑战

2018 年 11 月 11 日 人工智能学家

来源:专知

摘要:2018年11月7日晚,被称为“深度学习三巨头”之一的蒙特利尔大学计算机科学与运算研究系教授Yoshua Bengio在清华大学做了《深度学习抵达人类水平人工智能所面临的挑战(Challenges for Deep Learning towards Human-Level AI》的学术报告。Yoshua Bengio教授客观的说,目前人工智能距离人类水平还仍然十分遥远,人工智能在工业应用的成功主要得益于监督学习方法,人工智能仍然面临巨大挑战,尤其在人类智能机理方面的研究还亟需加强。在报告中,Yoshua Bengio深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,Baby AI框架等话题。


Yoshua Bengio


Yoshua Bengio教授是蒙特利尔大学计算机系教授和加拿大科学院院士,被称为神经网络三巨头之一。著有《Deep Learning》、《Learning Deep Architectures for AI》、《A neural probabilistic language model》等多部畅销书/课本。在他的倡导下,加拿大成立了Mila研究院,专注研究人工智能和深度学习。也正是因为在深度学习方面的重要贡献,Yoshua Bengio教授获得了加拿大总督功勋奖,该奖项主要为了纪念做出了卓越成就或者对国家做出了重大贡献的各领域人士,是加拿大公民的最高荣誉之一。



演讲报告




人工智能的目标是让计算机能够进行人与动物所擅长的「决策」,为此,计算机需要掌握知识——这是几乎全体 AI 研究者都同意的观点。他们持有不同意见的部分是,我们应当如何把知识传授给计算机。经典 AI(符号主义)试图将我们能够用语言表达的那部分知识放入计算机中。但是除此之外,我们还有大量直观的(intuitive)、 无法用语言描述的、不能通过「意识」获得的知识,它们很难应用于计算机中,而这就是机器学习的用武之地——我们可以训练机器去获取那些我们无法以编程形式给予它们的知识。



深度学习和 AI 领域有很大进步、大量行业应用。但是它们使用的都是监督学习,然而这些模型非常脆弱,极易受到外界干扰。


现在的系统的失败之处在于,它们无法捕捉我们真正想让机器捕捉到的高级抽象(high level abstraction)。而这样的表征可以捕捉构成数据的根本因素。


如何发现好的纠缠表征?一个好的表征空间中,不同要素的变化应该可以彼此分离。除了解纠缠变量,我们还希望系统能解纠缠计算。解纠缠和因果的概念相关,而因果正是机器学习界需要重点关注的领域。


人类的认知任务可以分为系统 1 认知和系统 2 认知。系统 1 认知任务是那些你可以在不到 1 秒时间内无意识完成的任务。例如你可以很快认出手上拿着的物体是一个瓶子,但是无法向其他人解释如何完成这项任务。这也是当前深度学习擅长的事情,「感知」。系统 2 认知任务与系统 1 任务的方式完全相反,它们很「慢」。大多数人需要遵循一定的规则、按照步骤完成计算。这是有意识的行为,你可以向别人解释你的做法,而那个人可以重现你的做法——这就是算法。计算机科学正是关于这项任务的学科。而我对此的观点是,AI 系统需要同时完成这两类任务。

意识空间里的事物维度很低,因而可以在这样的空间里进行推理。意识先验就是假设有很多只包含很少变量但为真的事情,因此,好的表示的一个性质,就是当我们把数据映射到表示空间之后,变量之间只有少数相关。

那么要如何实现这种表征呢?对此,注意力机制是一种很重要的工具。注意力机制可以按顺序选取重点关注的信息,来实现整个系统的端到端训练。我们不需要设计一个独立的系统来做这种选择。你可以将注意力机制作为在某些全局目标下端到端训练的更大系统的一部分。而这正是深度学习擅长的地方。

在架构方面,意识先验在「原始输入」和「某些更高级的表征」之外,还引入了第三个层次:这也就是有意识状态(conscious state)。

这个理论框架还有非常多的细节需要完善,去年我们主要关注其中的一个方面:目标函数机器学习深度学习中的标准训练目标函数都基于最大似然估计,而即使与最大似然无关的目标函数,例如 GAN 的一些目标函数,也是在像素级别进行构建的。然而,我们实际上想要在隐藏空间中表现出可预测性。



现在的NLP任务只是在文本+标注上训练模型。


这样会出现很多常识性的错误,因为它并没有理解语言内在的含义。



要真正理解自然语言,不仅要对语言本身建模,还要对所处环境进行建模。要将语言学习和世界运转方式的学习相结合。



机器需要对事物之间的因果联系进行建模。

BabyAI通过19个由易到难的游戏关卡而不断学习,就像婴儿成长的过程一样。这很像课程学习(curriculum learning)。


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

登录查看更多
4

相关内容

Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授,Mila和IVADO的科学总监和创始人,2018年图灵奖获得者,加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河,并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员,加拿大皇家学会的成员,并于2017年被授予基拉姆奖,玛丽·维克多奖和年度无线电加拿大科学家,并且是NeurIPS顾问的成员。 ICLR会议的董事会和联合创始人,以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理,并促进AI的发展以造福所有人。 https://mila.quebec/en/yoshua-bengio/
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
130+阅读 · 2020年7月10日
社区检测的深度学习:进展、挑战和机遇
专知会员服务
46+阅读 · 2020年7月9日
牛津教授揭秘AI革命及其前沿进展
人工智能学家
4+阅读 · 2018年10月11日
深度学习(deep learning)发展史
机器学习算法与Python学习
12+阅读 · 2018年3月19日
资源 | 一文读懂深度学习(附学习资源)
AI100
14+阅读 · 2017年11月30日
人工智能,机器学习和深度学习之间的差异是什么?
大数据技术
6+阅读 · 2017年11月22日
一文读懂深度学习(附学习资源)
深度学习世界
6+阅读 · 2017年11月9日
独家 | 一文读懂深度学习(附学习资源)
THU数据派
4+阅读 · 2017年11月8日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
3+阅读 · 2018年12月18日
Arxiv
53+阅读 · 2018年12月11日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Arxiv
20+阅读 · 2018年1月17日
VIP会员
相关VIP内容
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
130+阅读 · 2020年7月10日
社区检测的深度学习:进展、挑战和机遇
专知会员服务
46+阅读 · 2020年7月9日
相关资讯
牛津教授揭秘AI革命及其前沿进展
人工智能学家
4+阅读 · 2018年10月11日
深度学习(deep learning)发展史
机器学习算法与Python学习
12+阅读 · 2018年3月19日
资源 | 一文读懂深度学习(附学习资源)
AI100
14+阅读 · 2017年11月30日
人工智能,机器学习和深度学习之间的差异是什么?
大数据技术
6+阅读 · 2017年11月22日
一文读懂深度学习(附学习资源)
深度学习世界
6+阅读 · 2017年11月9日
独家 | 一文读懂深度学习(附学习资源)
THU数据派
4+阅读 · 2017年11月8日
相关论文
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
3+阅读 · 2018年12月18日
Arxiv
53+阅读 · 2018年12月11日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Arxiv
20+阅读 · 2018年1月17日
Top
微信扫码咨询专知VIP会员