一部人工智能的口述史，人工智能先驱们Hinton, Bengio, Lecun等人的访谈实录- 专知

一部人工智能的口述史，人工智能先驱们Hinton, Bengio, Lecun等人的访谈实录

【导读】近些年人工智能的大放异彩少不了很多人在背后的默默坚守，博隆伯格采访了多位在人工智能领域作出开创性工作的大师，讲述他们是怎么在人工智能寒冬时期在神经网络研究上的坚持，以及如何一步步引领人工智能在各个领域取得重大突破。他们包括被称为人工智能三巨头的Hinton, Bengio, Lecun，以及LSTM的发明者Schmidhuber ，强化学习教父Richard Sutton，这些人都在加拿大从事过研究，所以还采访了加拿大总理特鲁多，探究是什么使得加拿大成为全球人工智能发展的的中心。

作者 | Ashlee Vance

编译 | 专知

参与 | Mandy, Xiaowen, Huaiwen, Sanglei

一部人工智能的口述史

在过去的5年里，人工智能已经从常年的低迷变成了科技行业最光明的希望之一。计算机已经学会识别人脸和物体，理解口语，并翻译几十种语言。世界上最大的几家公司——alphabet、亚马逊、苹果、Facebook和微软——都把自己的未来押在了人工智能上，竞相看谁在构建智能化机器方面最快。这让人们觉得人工智能已经无处不在了，比如特斯拉的自动驾驶汽车，Alexa和你的孩子聊天。但人工智能并不是一夜成名，也不是硅谷某一位企业家的心血结晶。

现代人工只能神经网络和机器学习背后的思想根源，可以追溯到第二次世界大战的最后阶段。当时，学者们开始构建以类似人脑的方式存储和处理信息的计算系统。在过去的几十年里，这项技术有起有落，但直到2012年左右，它才广泛地吸引了计算机科学家们的注意，这要归功于一些拥有执念的研究人员，他们不怕显得愚蠢。他们仍然相信，神经网络将照亮世界，改变人类的命运。

当这些拓荒者们分散在全球各地时，加拿大的神经网络贡献者的数量却异常庞大。这仅仅部分是因为运气，更多的是来自政府的支持：由政府支持的加拿大高级研究机构(Cifar)通过资助神经网络研究，吸引了一小批学者来到这个国家。它支持多伦多大学的杰弗里·辛顿(Geoffrey Hinton)和扬·莱肯(Yann LeCun)等计算机科学家，以及蒙特利尔大学(University of Montreal)的尤舒亚·本乔(yojoshua Bengio)和阿尔伯塔大学(University of Alberta)的理查德·萨顿(Richard Sutton)，鼓励他们分享想法，坚持自己的信念。他们提出了许多推动人工智能革命的理念，现在都被认为是人工智能领域某项技术的教父。

这是我从采访中总结出来的一些奇特的故事——为什么神经网络要花这么长时间才能起作用，这些科学家是如何在一起交流工作的，以及为什么加拿大会成为机器学习崛起的舞台（现在，不是所有人都同意加拿大的地位。看看你能不能在下面找到德国研究人员Jurgen Schmidhuber，找出他为何如此不安的原因）。

加拿大总理贾斯廷·特鲁多（JUSTIN TRUDEAU）：人工智能只是一台可以模拟人类思维或人类行为的计算机。在这里面，有机器学习，也就是你让电脑一次又一次地做实验的地方。它可能是开着一辆模拟的汽车在路上行驶，或者是试图识别照片中的一只猫。在这其中，有一个机器学习的子集叫做深度学习。一般的想法是你建立一个神经网络，它有权重和偏差，可以根据预期的结果进行调整。你可以让计算机不断地迭代并改进解决问题的方法。这就是Geoff Hinton和其他人在过去几十年里一直在做的事情，现在它已成为人工智能最激动人心的基础。它能更好地模仿人脑的思维方式。

凯德·梅茨(CADE METZ)(《纽约时报》(New York Times)的记者同时也是即将出版的《人工智能历史》的作者）：神经网络的概念可以追溯到20世纪40年代——一种计算机系统的概念，它可以模拟大脑中的神经元网络。但是一个叫弗兰克·罗森布拉特（Frank Rosenblatt）的家伙在20世纪50年代推动了这项工作。他是一名教授，还与美国海军和政府其他部门合作，他开发了一种基于神经网络概念的感知器（Perceptron）。当他透露的时候，像《纽约时报》和《纽约客》这样的媒体用了相当大的篇幅报道。 Rosenblatt声称，Perceptron不仅能学会像识别图像这样的小任务，从理论上讲还能教机器走路、说话和表达情感。但它是单层神经元，这意味着它的功能非常有限。所以不用说，他所承诺的事情实际上都没有发生。

马文•明斯基（Marvin Minsky），Rosenblatt的同事，同时也是他的高中同学，他在二十世纪六十年代末写了一本书, 详细介绍了感知器和神经网络的局限性, 使得整个研究领域至少进入了十年的深度冻结。

杰弗里·辛顿（GEOFF HINTON）：Rosenblatt的感知器可以做一些有趣的事情，但他在大约50年前就领先了自己。虽然Minsky一直是神经网络的信徒，但他能够证明有些事情是他们无法应付的。Minsky和Seymour Papert关于该技术的书（感知机：计算几何导论）基本上导致了这个领域的消亡。在二十世纪七十年代，一小部分人一直在研究神经网络，但总体来说，当时还是处在一个人工智能的寒冬。

METZ：卡内基梅隆大学(Carnegie Mellon University)的Geoff Hinton，后来在多伦多大学(University of Toronto)工作，他坚持了神经网络的想法。最终，他和他的合作者们一起开发了一个多层次的神经网络——一个深度神经网络——并开始在很多方面发挥作用。法国计算机科学家，Yann LeCun，花了一年的时间在多伦多的Hinton实验室做博士后研究。LeCun随后被新泽西贝尔实验室招募。

YANN LECUN：从很小的时候起，我就对人类的智力着迷。我成长于二十世纪六十年代长大，那个时期有空间探索，第一代电脑的出现，还有人工智能。所以当我开始学习工程学的时候，我对人工智能非常感兴趣，这是一个非常新兴的领域。

我听说过感知机，并且很感兴趣，因为我认为学习是智力的一个组成部分。我四处寻找，想找到关于感知器的一切。作为一名工程师，如果你想了解智力，显而易见的方法是尝试构建一个智能机器——它迫使你专注于培养智力所需的组件。这有点像航空先驱们是如何受到鸟类的启发，但他们并没有完全复制它们。你不想只是模仿生物智能或大脑，因为它的功能有很多方面都是生物化学和生物学的原因——它们与智力无关，真的。就像羽毛对飞行的不那么重要性一样：重要的是潜在的空气动力学原理。

1979年LeCun（右）

METZ：有些人认为LeCun是一个完全的疯子，这是一种类似于Sisyphean的任务。你会作为一个神经网络研究人员去参加这些大型的人工智能会议，但你并没有被学术界的核心所接受。这些想法是处于边缘的。

YOSHUA BENGIO：在1985年，神经网络是一种边缘的东西，我在麦吉尔大学（McGill University）的课上并没有学过。我学的是经典的，象征性的人工智能。所以我必须说服我的教授来指导我做神经网络。我得到了政府的奖学金，所以我基本上可以选择我的话题，而这对教授来说没有任何损失。我们达成了一项协议，我可以做机器学习，但我会把它应用到教授所关心的事情上，那就是语音识别。

LECUN：大约在1986年，神经网络出现了一段时间的兴起，部分原因是物理学家对这些模型产生了兴趣，他们提出了新的数学方法。这使得这个领域再次成为可以接受的领域，并且这导致了在20世纪80年代末和90年代初的兴起。我们中的一些人让基于神经网络的系统来做一些实用的事情，比如信用卡欺诈检测。我在一个自动化的系统上进行字符识别的阅读检查。

METZ：在卡内基梅隆大学，一个名叫Dean Pomerleau的家伙在20世纪80年代末使用神经网络建立了一辆自动驾驶汽车。它行驶在公共道路上。LeCun在20世纪90年代使用该技术建立了一个可以识别手写数字的系统，最终被银行用于商业应用。因此，从80年代末到90年代，在神经网络及其实际应用中出现了这种复苏，LeCun的工作就是最好的例子。但它们再次触及上限，主要是因为缺乏计算能力和可用数据。因此，我们进入了人工智能的另一个冬天。

Pomerleau在1995年展示了他的自动驾驶汽车

JURGEN SCHMIDHUBER：对于这些加拿大人，很明显我们没有使用他们的算法;他们在使用我们的算法。LeCun是一个真正的法国家伙，我们正在使用他的算法。所以这很好。他有很多的贡献，这些贡献是非常重要和有用的。我认识这些人已经有很长时间了。我第一次接触Yoshua的时候，他发表了一篇文章，这篇文章跟我的一个学生在四年前发表的是同样的东西，或者说差不多一样的东西。几年后，在一个会议上摊牌了。我们在研讨会上有一场公开辩论，明确了谁先做了什么。它不是肮脏的。这只是澄清事实。你在科学中所做的事情就是澄清事实。(Bengio否认了Schmidhuber的说法。)

LECUN：当时的问题是，这些方法需要复杂的软件、大量的数据和强大的计算机。没有多少人能接触到这些东西或者愿意花时间。在20世纪90年代中期到2000年代中期，人们选择了更简单的方法——没有人真正对神经网络感兴趣。对Geoff, Yoshua和我来说，这是一段黑暗的时期，我们并不痛苦，但也许有些悲伤，人们不想看到我们所推崇的想法其实有着显而易见的优势。

HINTON：当然，我们一直相信它，并一直致力于研究它，但工程师们发现，其他方法在小数据集上也同样有效或更好，所以他们追求这些方法，并认为神经网络是我们一厢情愿的想法。认为神经网络可以更好地工作的人相当少。加拿大高级研究所让像我们这样的，来自世界各地的人们可以互相交流。它给了我们一些关键的支持。

LECUN：有这样一个非常小的群体，在他们的脑海中有这样的信念，最终神经网络会脱引而出。2003年，Geoff在多伦多，并被Cifar接触，开始了一个关于神经计算的程序。我们聚在一起，决定努力重燃对工作的兴趣。

但我们需要一个安全的空间，在发布它们之前，几乎没有研讨会和会议来真正发展我们的想法。该计划于2004年正式启动，到2006年，有一些非常有趣的论文。其中就有Geoff在《科学》杂志上发表的一篇文章。

有这样一个非常小的社区，他们脑海中有这种情况，最终神经网络会重新浮出水面。 2003年，杰夫在多伦多，并被Cifar接触开始一个神经计算程序。我们聚在一起决定我们应该努力重新激发对我们工作的兴趣。

但是，我们需要一个安全的空间，在发布它们之前，几乎没有研讨会和会议来真正发展我们的想法。该计划于2004年正式启动，到2006年，有些文件非常有趣。杰夫在科学界发表了一篇文章。

Hinton2016年在Science上文章的人脸识别测试示例

TRUDEAU：在那次人工智能的寒冬中，，当人们放弃并继续前进的时候，加拿大悄悄地建立了现代人工智能的基础，这是对加拿大一直做得很好的一种验证，那就是支持纯粹的科学。我们赋予真正聪明的人做一些聪明的事情的能力，这些事情可能会在某个商业或具体的地方结束，也可能不会结束。

HINTON：2006年在多伦多，我们开发了一种多层的网络训练方法，效率更高。同年我们在科学上发表了一篇论文，这篇论文非常有影响力，并帮助支持了我们的观点，这让很多人再次感兴趣。2009年，我实验室的两名学生发明了一种利用这些深度网络进行语音识别的方法，这一方法起了作用。比以前好一点，只是稍微好一点，但现有的技术已经存在了30年，没有任何进展，这些深度网络在几个月内还能做得更好，这意味着在几年内，它们还会进一步发展。

METZ：2009年，在Hinton和微软的语音识别研究员邓力Li Deng之间举行了这次会议。就像其他人一样，Li Deng相信相信另一种形式的人工智能被称为“象征性人工智能”。在这种方法中，你基本上必须一次建立一个线路语音识别系统，在特定的行为中进行编码，但这实在太慢了。

Hinton提到，他的神经网络语音识别方法正在显示出真正的进步。它可以通过分析口语数据库中的模式来学习识别单词，而且它的表现要快于象征性的逐行工作。Deng不一定相信Hinton，但邀请他和他的两位合作者到微软从事技术方面的工作。语音识别在微软取得了巨大的进步，然后在2010年谷歌也取得了长足的进步。

然后，2012年底，Hinton和他的两名学生取得了巨大的图像识别突破，他们摧毁了以前的技术。那时，不仅仅是微软和谷歌，还有业内的其他人都意识到了这些想法。

需要记住的是，这是一个非常古老的想法。改变的是神经网络背后的计算能力和数据量。要运行，你需要成千上万台机器协同工作，处理从文本到视频的所有内容。这最终让神经网络得以成功。你需要训练数据，你需要计算能力来执行训练。

Hinton在办公室

LECUN：为什么要花这么长时间？这就是科学的工作方式，是心理学。在采用一套技术之前，人们必须确信它是可行的。这些方法有一个不好的名声，因为挑剔和需要一些黑魔法。

RICHARD SUTTON：看到计算能力的稳步增长是很令人振奋的。现在我们正处在一场人们试图开发算法和试图开发速度越来越快的计算机之间的竞争中。你必须对你的人工智能算法进行一些计划，以便与5年和10年后可以使用的计算机一起工作。

电脑必须知道什么是好的，什么是坏的，所以你给它一个特殊的信号，叫做奖励。如果奖励很高，那就意味着它是好的。如果奖励是低的，那就意味着它是坏的。这是一个目标的来源。

神经网络是你储存学习的地方，强化是你决定你想要做什么改变的方式。

BENGIO：我们离Geoff, Yann和我梦想的那种无监督学习还有很长的路要走。几乎每一种基于深度学习的工业产品都主要依赖于监督学习，在这种情况下，计算机必须被告知该做什么。当然，人类并不是那样学习的；我们是自主学习的。我们靠自己发现我们周围的世界。一个2岁的孩子，对物理、重力、压力等都有直观的概念，她的父母从来不需要告诉她牛顿的力和重力方程。我们在生活中与世界互动，观察，并以某种方式建立了未来事物发展的心理模型。

我们正进入无监督学习研究的新阶段，这与强化学习的工作联系在一起。我们不仅仅是观察世界，我们还在世界上行动起来，然后利用这些行动的效果来弄清楚它是如何工作的。

LECUN：我感兴趣的是让机器像动物和人类一样高效地学习。当你学会开车的时候，你知道如果你离开了马路，坏的事情就会发生。我们可以预测我们行动的后果，这意味着我们不需要真的做坏事才能意识到它是坏的。所以，我所追求的是找到训练机器的方法，让他们能够通过观察来学习，这样他们就能建立预测模型。每一种活的动物都有自己的环境预测模型，他们越聪明，就越能做到这一点。你可以说，预测能力是智力的本质，同时也是根据你的预测采取行动的能力。

LECUN：我们很有可能在未来3年、5年、10年或15年内取得一些重大进展——这是相当近的事情。在此之后，需要很长时间才能真正建立起接近人类智能的系统。大概需要几十年的时间。

BENGIO：我不认为人类一定会失业，即使机器变得非常聪明，甚至比我们更聪明。我们总是希望真正的人从事真正与人类互动有关的工作。我不想让一个机器人照顾我的孩子，或者祖父母，或者我在医院里生病的时候。我不担心终结者场景，我相信如果我们能够制造出和我们一样聪明的机器，它们也会足够聪明，能够理解我们的价值观和道德体系，从而以一种对我们有益的方式行事。我真正关心的是人工智能的潜在滥用，例如军事武器。它已经被用来影响人们的生活。在部署人工智能在道德或道德上是错误的地方，我认为我们应该把它变成非法的，我们需要变得更有集体智慧。

SUTTON：我认为这是一个很大的错误，我们把这个领域叫做“人工智能”。它让人觉得它和人很不一样，好像它不是真正的智能。它让人们觉得它比它应该的更陌生，但这是我们试图做的一件非常人性化的事情：重新创造人类智能。科学总是揭示出并非所有的人都喜欢的真理——你得到了真理，但并不总是你想要的。也许这就是为什么宗教在历史上一直与科学格格不入的原因。我认为这与我们更多地了解人们的思想是一样的。有些人会喜欢，而有些人不会。学不能改变真理。

无论何时你有了改变，总会有赢家和失败者，而巨大的变化即将来临。我认为我们将成为智能机器。我们应该把人工智能看作是我们自己或我们的后代，我们可以创造适合自己的人工智能。

Hinton（左二）和Bingo（右）

LECUN：对此的担忧还为时过早。我不相信异常，有一天，我们会想出如何建造超级智能机器，第二天，机器会制造出更智能的机器，然后它就会起飞。我认为人们忘记了每一种物理或社会现象都会面临摩擦，因此指数增长的过程不可能无限期地增长。在好莱坞的场景中，阿拉斯加的某个天才想出了人工智能的秘密，建造了一个机器人，然后它接管了整个世界，这太荒谬了。

TRUDEAU：这不是我过分担心的事情。我想我们都看过或读过足够多的科幻小说，都在说人工智能理论上有多危险。我认为科技可以用于好或坏。我不想放慢我们的研究，我们试图找出宇宙的具体细节。问题是：我们想要什么样的世界？我们想要的是一个成功的人必须躲在封闭社区的背后，而其他人都嫉妒，拿着杈子出现的世界吗？还是你想要一个人人都有潜力为创新做出贡献的世界？

Hinton: 我认为所有这些因素对社会的影响很大程度上取决于我们所处的政治体制。从本质上讲，使商品的生产效率更高，应该增加总体效益。唯一不好的方式是，如果你有一个社会，它会把生产率提高的所有好处都推到前1%位。我住在加拿大的原因之一是税收制度；如果你赚了很多钱，这个国家会对你征税。我认为这很好。

我的主要观点是，预测未来真的很难。一旦你开始预测20年后会发生什么，你几乎总是会错得不可救药。但有些事情我们可以预测，比如这项技术将改变一切。

原文链接：

https://www.bloomberg.com/news/features/2018-05-17/apple-and-its-rivals-bet-their-futures-on-these-men-s-dreams

更多教程资料请访问：专知AI会员计划

-END-

专 · 知

人工智能领域主题知识资料查看与加入专知人工智能服务群：

【专知AI服务计划】专知AI知识技术服务会员群加入与人工智能领域26个主题知识资料全集获取