深度学习崛起十年：“开挂”的OpenAI革新者

来源｜The Robot Brains Podcast

编译｜OneFlow社区

AlexNet，AlphaGo，GPT、CLIP、DALL-E和Codex，这些在AI界轰动一时的杰作，对于任何一个AI领域的研究者来说，主导或参与上述任何一项项目都无疑可以成就一段辉煌的职业生涯，但是，偏偏就有人就能集齐这六龙珠。

 

更让人感到绝望的是，这个人的成就还不止于此。在他2012年博士毕业后的十年里，他的论文被引次数超过25万次，在AI学术界有着巨大影响力。此人就是OpenAI联合创始人兼首席科学家Ilya Sutskever。

 

（从左至右依次为Ilya Sutskever, Alex Krizhevsky, Geoffrey Hinton）

 

在多伦多大学读本科时，深度学习三巨头之一的Geoffrey Hinton就成了他的导师，当时这个领域一片荒芜，但他的学习动机非常明确，就是要对AI做出哪怕非常小但有意义的贡献。Hinton一开始给Sutskever的研究项目是改进随机邻居嵌入算法，后者的出色表现给Hinton留下了深刻印象。

 

2012年，在多伦多大学读博期间，在Hinton的指导下，他和博士生同学Alex Krizhevsky设计了AlexNet，并在当年的ImageNet大赛上一举夺魁。AlexNet的出现使得深度学习大放异彩，并让AI在过去10年里得到突飞猛进的发展。

 

博士毕业后，他加入了Hinton的新研究公司DNNResearch，2013年3月，这家只有三个人的创业公司被谷歌收购，Sutskever担任Google Brain的研究科学家。

 

期间，他与谷歌研究员Oriol Vinyals和Quoc Le提出了Seq2seq学习，开启了RNN广泛应用于语言任务的时代。他还参与开发了机器学习框架TensorFlow，用于大规模机器学习。更重要的是，他还参与研发了DeepMind的AlphaGo，该系统基于深度神经网络和蒙特卡罗树搜索方面进行训练，并使用强化学习算法自学习，他也是AlphaGo论文的作者之一。

 

2015年7月，Sutskever参加了一场有Sam Altman（Y Combinator前总裁）、Elon Musk和Greg Brockman（现OpenAI首席技术官）的饭局，他们一致决定要成立一个“工程型的AI实验室”。同年末，Sutskever与Greg Brockman共同创立OpenAI，致力于创造出通用人工智能，并获得了Elon Musk，Sam Altman和LinkedIn创始人Reid Hoffman等人的私人投资，在6年时间里，他们如今开发出了GPT、CLIP、DALL-E和Codex等震动业界的AI项目。

 

作为一个AI前沿领域的探索者，纵览其职业生涯，Sutskever的每一次转向似乎都能恰到好处地挖到黄金。

 

那么，他对AI发展的敏锐度来自何处，又如何看待未来神经网络、AI的发展机遇？在Pieter Abbeel主持的The Robot Brains Podcast节目中，Ilya Sutskever分享了他在多伦多大学、谷歌、OpenAI等经历的研究往事，在深度学习崛起十年之际，我们将了解到这个AI革新者和引领者背后的思考和分析。

 

以下为对话内容，OneFlow社区做了不改变原意的编译：

 1

为何决定研究神经网络

 

Pieter Ab beel：很多人认为，新一轮AI高潮的到来是从2012年AlexNet的突破开始的，你是促成这一时刻发生的人之一。但在那之前，别人都在研究其他各种的计算机视觉方法，你为什么却在研究应用于计算机视觉的神经网络？

 

Ilya Sutskever： 这一决定是由过去几年一系列认识产生的结果。第一个认识是，James Martens写的一篇名为《通过Hessian-Free优化深度学习》的论文第一次证明可以从监督数据进行端到端训练深度网络。

 

但在当时的某些情况下，大家都觉得无法训练深度网络。反向传播太弱了，你需要进行某种形式的预训练，然后才可能会有一些进展。而且，即使能进行端到端训练，深度网络到底能做什么？

 

当然，现在我们提到深度学习，就觉得训练神经网络是理所当然，只需要一个大型神经网络，输入数据，然后输出很不错的结果。

 

人们真正关注的是机器学习模型，他们希望可以有一种算法完美地训练这些模型。但是，如果你把这个条件强加给自己，并且想找到一个简单优雅的数学证明时，这最终会限制模型能力。

 

相比之下，神经网络基本算是小型并行计算机，尽管已经不算小了。而训练一个神经网络相当于用反向传播算法给这台并行计算机进行编程。所以当我看到Hessian优化的结果后，我真的很高兴，这意味着现在可以对并行计算机编程了。你可能觉得，也许有人会雄心勃勃地训练这些东西，但显然基本不可能成功，局部极小值是个大难题。但现在，你可以训练神经网络了。

 

第二个认识是，人类的视觉速度很快，最快几百毫秒就能识别出东西，尽管神经元的速度很慢。这意味着甚至不需要那么多的层来实现多好的视觉效果。如果有一个相当大的神经网络，那么可以通过调参在视觉应用上实现很好的效果。要是一开始就有做训练用的数据集就好了。然后ImageNet、GPU出现了，我就想，神经网络也必然会出现。

 

然后某一次我和Alex Krizhevsky聊天，他提到自己的GPU代码可以训练一个小的卷积网络，在60秒内输出很不错的结果，我感到很震惊。我想如果在图像上这么做肯定能成功。所以事情就是这样发生的。

 

Pieter Abbeel：我还记得你第一次告诉我“神经网络只是一个计算机程序”的情景，这甚至比Andrej Karpathy说软件2.0是用神经网络编程还要早好几年。但在神经网络取得成功之前，你就看到了这一点。你什么时候意识到神经网络在ImageNet上更有效？

 

Ilya Sutskever： 我一直都相信这样做会有效。那时，Alex一直在训练神经网络，得到的结果越来越好，每周都有很大进步。

 

但从我的角度来看，当时的神经网络都不够大，最大的风险是我们是否有能力充分利用GPU来训练一个非常大的神经网络，它应该比其他所有的神经网络都要好。当然我们做的远远不止这些。

 

我们的计算机速度更快，神经网络也更大，但我们的目标是尽可能地利用当时的硬件走得更远，这就是风险所在。幸运的是，Alex用高度优化的CUDA内核消除了这个风险。

 

Pieter Abbeel：如今我们可以直接在PyTorch或TensorFlow中训练神经网络，但那时，你必须自己搭建一些专业的工具才能正常运行。我很好奇，当你比其他人更早知道AlexNet的突破发生后，你在想什么？

 

Ilya Sutskever： 当时在思考两件事。首先我相信，我们已经证明了神经网络可以解决人类在短时间内可以解决的问题，我们已经证明了可以用适量的层来训练神经网络。因此，我认为我们可以把神经网络做得足够宽（wide），但如果想把神经网络做得很深（deep）却很难。如何做深还需要大量思考才可能解决。

 

那么我们能不能找到一些有趣的、不需要太多思考的问题？我考虑的实际是强化学习，而语言正是人们可以快速理解的东西，翻译也是语言领域一个着重需要解决的问题。

 

另一件事也是关于AIphaGo系统的，使用卷积网络或许会为当时其他的非神经网络系统提供非常好的直觉参考。

 

Pieter Abbeel：神经网络如何改变了AlphaGo系统的行为？

 

Ilya Sutskever： 在深度学习之前，任何与AI有关的东西都会涉及某种搜索程序或某种硬编码的启发式方法。在这种情况下，真正有经验的工程师需要花很多时间认真思考：在什么情况下，他们应该继续做某事或停止做某事，还是扩展资源。他们的所有时间都花在找启发式方法上。

 

但是神经网络是形式化的直觉，会提供一种专家式的直觉。我曾经了解到，在任何一款游戏中，专业级玩家只要观察一下情况，马上就能有一种非常强烈的直觉：不是这么做就是那么做。然后在剩下的时间里，他就会考虑是这两个选择里的哪一个。

 

如果你相信神经网络可以完成人类短时间内完成的事情，神经网络就真的能做到。围棋这样的游戏就是一个大的“软柿子”（soft problem），我们是有能力做到的。

 

Pieter Abbeel：当我第一次听说围棋游戏使用卷积网络时， 我的第一反应是，既然卷积以平移不变性而闻名，而围棋棋盘上是没办法保证“平移不变”的，因为一个特征所处的位置真的很重要。但很明显，这并没有阻止卷积网络的成功，而且它掌握了这种特征。

 

Ilya Sutskever： 这又是并行计算机的力量，你能想象编写一个卷积网络来做正确的事情吗？这的确不可思议，但这的确是人们信念上的一次飞跃。我最后也间接参与了AlphaGo的论文。我有一个实习生叫Chris Maddison，我们一起想给Go应用超级卷积网络。

 

与此同时，谷歌收购了DeepMind，所有员工都去拜访过谷歌。我们与David Silver和Aja Huang（AlphaGo主要作者）进行了交谈，这是一个很酷的项目。DeepMind真的付出了很多努力，他们在这个项目上执行得非常出色。

 

Pieter Abbeel：AlexNet是大多数AI研究人员看到深度学习时代到来的新起点，而AlphaGo的面世可能让大多数人看到AI能够实现许多不可能的时刻。世界上大多数人都在关注这一点，比如在自然语言处理方面中发生了一些非常基本的、颠覆性的事情。

整个谷歌翻译系统已经用神经网络进行改造，尽管当时很多人认为神经网络只是特征识别。而特征应该是像语音或者是视觉上的信号，语言却是离散的、独立的。如何从这些连续的信号“跳转”到离散的、独立的语言上去？这两者差异很大。

 

Ilya Sutskever： 如果你相信生物神经元和人工神经元没什么大的不同，那么你就会认为这个跳转非常自然。世界上最好的专业翻译应该是极度精通至少两种语言的人，他几乎可以马上把一种语言翻译为另一种语言。因此，在这个人的头脑中存在着一些层数相对较少的神经网络，可以完成这项任务。

 

如果我们在电脑里有一个规模没有那么大的神经网络，通过输入、输出多次训练这个神经网络，我们肯定能得到这样一个神经网络解决问题。因此，世界上极度精通两种语言的人类的存在，也可以证明神经网络可以做到。现在我们有了大型神经网络，我们的大脑也相当强大，也许你可以大胆地说，我们可以不断训练数字神经元，再少点儿噪音就可以了。

 

当然，现在神经网络还没有达到人类翻译的水平。但我们可以推断，既然生物神经元和人工神经元没有什么不同，那为什么神经网络不能做到？再等等吧。

 

Pieter Abbeel：你和谷歌的合作者发明了一种用神经网络进行机器翻译的方法，你能介绍下它的工作原理吗？

 

Ilya Sutskever： 你所需要的只是一个大型神经网络，它能以某种方式吸收单词的某些表征。在AI领域我们经常使用“表征”这个词。比如字母a或者是cat这个单词，要怎么把它们传达给计算机或者神经网络？

 

计算机或神经网络会在单词或字母上建立某种映射，生成某种神经网络可以接受的形式。所以你只需要设计一本字典，然后把这些信号输入到神经网络，然后用某种方法让神经网络一次一个地接收这些信号，之后在翻译过程中一个一个地输出这些单词。这就是现在很流行的所谓的自回归建模方法。

 

用这个方法并不是因为它有多特别，只是因为比较方便。神经网络会做所有事情，它知道如何建立内部机制，如何构建神经元来正确地翻译每个单词的意思。

 

神经元会把它们分块、转换、编排，一次输出一个正确的单词。当然也有其他方式来设计其他的神经网络来接收这些单词的信号，现在人们也正在探索，比如扩散模型。也许神经网络能够并行地接收单词，做一些顺序性工作，然后并行地输出。

 

事实上，这并不重要。重要的是，我们只是以某种方式将单词呈现给神经网络，有办法让神经网络可以输出目标单词。

  2

大学生涯与导师Hinton

 

Pieter Abbeel：是什么让你最终成为一名AI研究人员？

 

Ilya Sutskever： 我在俄罗斯出生，以色列长大，16岁时移居加拿大。据我父母说，我在很小的时候就开始谈论AI。我也清楚地记得，曾经思考过AI的事情，还读到有文章称这个领域是在“用蛮力下棋”的说法。

 

很明显，AI似乎可以下国际象棋。但AI真正的核心应该是学习，这也是AI如此糟糕的缘由。因为它不学习，而人类一直在学习，那么我们能一直做到所有的学习吗？

 

自我去了多伦多大学后，我就找到了研究深度学习的教授Geoffrey Hinton。另一个原因是，他在训练神经网络，而神经网络似乎是更有希望的方向，因为它们没有明显的计算限制，尽管决策树这些在当时比较流行。

 

Pieter Abbeel：去多伦多大学后有没有想过，Hinton在这个领域研究了三四十年似乎一直没有什么起色，再研究三四十年后可能也不会成功？

 

Ilya Sutskever： 我的动机非常明确，就是要对AI做出哪怕非常小但有意义的贡献。我认为学习并不总是完全有效的，如果因为我的存在，AI的研究变得更好了一点，那么我就成功了。

 

Pieter Abbeel：还记得自己第一次和Hinton见面时的场景吗？

 

Ilya Sutskever： 我是在大三时第一次见到他。当时我的专业是数学，大家都认为数学很难，真正有天赋的人才会学习数学。我当初选择机器学习因为它不仅是真正有价值的研究，还因为所有聪明人都去学数学和物理了，我对这种状况感到高兴。

 

Pieter Abbeel：我在读Cade Metz的书时，Hinton讲述了他和你见面的事情。他当时给了你一篇论文，你回去读了之后说看不懂，他说没关系，你还在读本科，有什么不明白的他可以解释给你听。然后你说，手动操作的地方太多了，你不明白为什么他们不把整个学习过程自动化。你能看懂这篇论文，只是不明白他们为什么要这么做。Hinton心想，哇哦，有点儿意思。后来他给了你另一篇论文，你读后回来说，你也不理解为什么他们为每个应用程序都单独训练一个神经网络，为什么不能训练一个庞大的网络来完成所有的事？一起训练效果应该会更好。

 

这些事让我想起我们在OpenAI的时候，感觉你的思考总是走在我们前面，你会预测事情未来将如何发展。今天回过头来看，你好像真的知道几年后事情的发展是怎样的。

 

Ilya Sutskever： 确有其事。我刚从事这个领域的时候，AI并不被人看好，还没有人做出什么成就，这个领域一片荒芜，也不清楚未来是否会有什么进展。

 

我一开始给自己制定的目标是，推进对AI有用的、有意义的一小步。这是我在相当长一段时间内的很明确的动机。在这个动机变得更清晰之前，这条路可能会更加崎岖陡峭，但同时也燃起了我们的斗志。

3

OpenAI和GPT的诞生

 

Pieter Abbeel：从多伦多大学开始研究生涯，到去谷歌工作，再到创立OpenAI公司，你似乎都是在恰当的时间更换自己的处境，做着领域内最具开创性的工作，这些转变是怎么发生的？

 

Ilya Sutskever： 我记得我在谷歌的时候，感觉非常舒服，同时也非常不安。我认为有两个因素造成了这样的感觉：一方面是我可以展望未来10年，对事情的发展有点太清楚了，我不太喜欢那样；另一方面就是看到DeepMind在AlphaGo构建工作的经历，这非常鼓舞人心，我认为这是深度学习领域开始成熟的标志。

 

在这之前，AI领域的所有进展都是由从事小项目的一小部分研究人员推动的。大部分的工作都是以想法为重，然后通过工程执行以证明想法是有效的。但我觉得，AlphaGo的不同在于它展现了工程设计的重要性。

 

事实上，这个领域将发生变化，开始进入工程领域，工具变得非常可靠。接下来的问题是，如何真正训练这些网络？如何调试？如何设置分布式训练？有很多工作要做，而且堆积的东西相当深。

 

我觉得谷歌的文化与学术界文化非常相似，确实有利于产生激进的新奇想法。事实上，谷歌这些年在AI中产生了很多激进和革命性的想法，最明显的是过去几年的Transformer。

 

但我觉得这不会是AI进步的全部，它只是AI进步的一部分。如果把AI看作是身体，那还需要肌肉、骨骼和神经系统。如果你只有其中一个部件，挺好的，但整个事情不会有真正的进展，你需要集齐所有的部件。如果某个公司将这些部件都放在一起，就真的很好。

 

但我不知道怎么做，只是随便想想。某天，我收到了Sam Altman的电子邮件，他说让我们和一些很酷的人一起吃个饭吧。Greg Brookman、Elon Musk等人在那里，我们聊了聊在一个新的AI实验室里开始研究会很好。因为我也在思考同样的想法，我真的希望它是工程型的。看到Elon将参与其中，我想不到还能从比他更好的人身上学到大型工程项目方面的东西。我认为这就是OpenAI的真正起因。从我的角度来看，就像白日梦成真了。

 

Pieter Abbeel：在OpenAI成立初期，你打算怎么塑造它？

 

Ilya Sutskever： 一开始其实有各方面的压力，而且我并不完全清楚如何马上开始行动。有一点明确的是，我们需要做某种大型项目。我对这个想法感到兴奋，如果你能很好地预测，就能在监督学习上取得进展，但除此之外，还不清楚该怎么做。

 

当时的情况是，DeepMind已经在强化学习领域取得了一些非常令人兴奋的进展。首先，通过对神经网络的训练，用强化学习来玩简单的电脑游戏，然后AlphaGo事件发生了，人们开始觉得强化学习也许可以做一些事情，但在过去，这看起来是一个不可能实现的任务。

 

在我们尝试了很多不同的项目后，最终决定，也许解决有挑战的实时战略游戏比如Dota。这是Greg一展身手的地方，他接手了这个项目，即使看起来真的不可能。但不知何故，他用最老套的深度学习方式发挥了作用，我们尝试过的最简单的策略梯度法最终奏效，并且从未停止过通过更大规模和更多训练进行改进。它证明了我们可以做大型项目。

 

Pieter Abbeel：最简单的方法最终奏效的确令人惊讶。在语言领域，OpenAI还做出了GPT模型，它的能力非常令人惊讶，对你来说，什么时候让你相信这是要去做的事情？

 

Ilya Sutskever： 从我的角度来看，一件非常重要的事情是，我对无监督学习非常感兴趣。Alexnet、AlphaGo和Dota都是以某种方式向神经网络提供输入和期望的输出来进行训练，今天来看这种方式是非常直观的，而且，你至少可以有一个合理的强烈直觉，知道为什么监督学习、强化学习是可行的。但相比之下，至少在我看来，无监督学习要神秘得多。

 

到底什么是无监督学习？你可以通过简单的观察来了解这个世界，而不需要有一个“老师”来告诉你理想行为应该是什么。问题是，这怎么可能行得通？

 

普遍的想法是，也许你有某种任务，比如输入图像让神经网络以某种方式去转换它，然后产生相同的图像。但为什么这对你所关心的任务来说是件好事，是否有一些数学上的原因？

 

我觉得这很不令人满意，在我看来，无监督学习根本就没有好的数学基础，我真的为此感到困扰。经过大量的思考，我形成了这样的信念：实际上，如果你能很好地预测下一步，应该就有了一个很好的监督者。

 

具体来说，如果你能很好地预测下一个位（bit），那么就已经能提取出所有有意义的信息，模型以某种方式知道存在于信号中这些信息，它应该有一个所有概念的表征，就是语言模型上下文语境中的想法。

 

这是非常直观的，你可以适度准确地预测下一个单词。也许模型会知道单词只是由空格分隔的字符串。如果你预测得更好，你可能知道那儿有一个词汇表，但是你不擅长语法。如果你进一步改进你的预测，那么你的语法也会变得更好，也会突然产生一些语法上的莫名其妙的错误。但如果进一步改进你的预测，那么语义必须发挥作用，我觉得这同样也可以用来预测像素。

 

所以在某种程度上，我开始相信，这也许在预测方面做得非常好。有趣的是，现在每个人都知道无监督学习就是有效的。但在不久前，这似乎还是一件非常棘手的事。

 

回到GPT是如何产生的这个故事。真正朝这个方向迈出一步的项目是由Alec Radford领导的，他是GPT传奇的一个重要英雄，在那个项目里，我们训练神经系统和LSTM来为亚马逊产品的评论中预测下一个字。

 

我们发现，这个LSTM有一个与情绪相对应的神经元。换句话说，如果你阅读的评论是正面的，那么情绪神经元就会触发，如果你阅读的评论是负面的，那么情绪神经元就会抑制（fall）。这很有趣，验证了我们的猜想。

 

后来，我们非常高兴地看到Transformer神经网络架构出来了，我们相信长程依赖（Long-Term Dependency）真的很重要，而Transformer对长程依赖有一个非常干净、优雅且计算效率高的答案。

 

但在技术上，我们讨论了这些神经网络在某种程度上是深层的，直到最近都是这样，要训练深度神经网络相当困难。

 

以前用于训练模型和语言序列的神经网络，序列越长，网络就越深，就越难训练。但Transformer将深度与序列的长度解耦，所以可以用非常长的序列得到一个可管理的深度Transformer，这令人兴奋。这直接导致了GPT-1的面世，后来我们继续扩大参数规模，就得到了GPT-2和GPT-3。

 

Pieter Abbeel：GPT-3出来的时候，整个社区都异常兴奋，当你提供一点额外的文本，就可以让它做你想做的事情，甚至可以编写一些基础代码。它大概是怎么运作的？

 

Ilya Sutskever： 你只需要有一个神经网络，还有一些文本，让它输出一个有根据的预测内容，这是对单词可能是什么的概率猜测。你可以根据神经系统输出的概率来挑选一个词，然后提交给它，让“神经元”一次又一次地预测下一个词。足够好的预测带来了你所梦想的一切。

 

Pieter Abbeel：让人印象深刻的一点是，GPT是一项非常实用的重大研究突破。当GPT开始有效时，你或者其他人是否已经开始考虑相关应用？

 

Ilya Sutskever： 我们对潜在的应用绝对感到兴奋，以至于我们围绕GPT-3构建了API产品，以便人们可以去构建他们的语言应用。看待正在发生的事情的另一种视角是，AI只是不断地继续获得越来越多的能力。

 

要分辨某一研究进展是否真实，有时会比较棘手。假设你有一些很酷的Demo，可能很难理解这个应用进步的幅度，特别是如果你不知道这个Demo与他们的训练数据有多相似。这个领域已经非常成熟，你不再需要依靠Demo甚至是基准作为衡量进步的唯一指标。不过，产品的有用性是衡量进步的最真实指标。

4

AI如何影响生产力

 

Pieter Abbeel：你觉得这些工具将怎样帮助人类提高生产力？

 

Ilya Sutskever： 短期内，生产力会逐步提高。而随着时间推移和AI系统能力的提高，生产力也会显著提升。长期来看，AI系统会让所有的工作都会由AI来完成，我非常有信心见证生产力的大幅提高。

 

Pieter Abbeel：人们会通过很多方面来思考，在这种背景下，当你赋予AI较强的生产力时，它最好一直做正确的事情。AI不会把事情搞砸，或误解人们想让他做的事。我对这个项目非常好奇，因为它将强化学习与GPT结合在一起。

 

Ilya Sutskever： 退一步说，我们拥有的这些AI系统正变得越来越强大。它们强大的功能来自在非常大的数据集上训练它们，我们对于它们的作用有着直观了解。

 

我们有这些大型语言模型，有能力通过提示信息（prompt）来控制它们。事实上，语言模型越好，控制能力就越强，它就越容易通过提示信息来控制。但我们希望模型完全按照我们的意愿办事，或者尽可能接近我们的要求。

 

你刚刚提到的用人类反馈的强化学习来训练这些语言模型。现在强化学习不是针对模拟器而是针对人类裁判，这些人会告诉你输出是理想的还是不理想的。这种强化学习环境真的很令人兴奋，你甚至可以争辩说强化学习可能慢了一点，因为还没有很好的环境。

 

在强化学习中，通常会提供好坏两种结果。但是我们通过人类反馈的强化学习的方法，“老师”需要观察模型的两个输出，然后判断哪个更好。

 

比较两件事相对来说哪个更好是比判断一件事绝对的是好还是坏更简单的任务。然后我们做一点机器学习，从奖励模型中创建奖励，然后使用这个模型来训练神经网络。这是一个非常简单有效的事，你可以用精细的方式来控制这些语言模型和神经网络的行为。

 

最近我们一直在训练Instruction-following（指令跟踪）模型。实际上，人们可以通过GPT3中的开放API进行使用。

 

所以你需要非常聪明地指定你的提示信息来设计一种核心，并让模型做你想做的，提供一些例子，在这些例子中，指令跟踪模型以这种方式接受训练，可以真正做到我们让它做什么，它就做什么。有一个词在机器学习领域的一些子集里是已知的，但并不是所有的子集都知道。

 

但再往前，你想从各种方面学习“老师”，想使用机器学习，不仅仅通过提供有监督例子或奖励,但是你想有一个对话，在其中提出正确问题，来了解这个概念所需的信息。

 

这就是未来的发展趋势。现在这个方法已经成功的使用了，让GPT模型比自然情况下更一致（aligned）。

 

Pieter Abbeel：我理解的对齐是可以用个性化的方式调整它们，从而与特定的要求保持一致。就像我可以教你遵循我的喜好一样。

 

Ilya Sutskever： 这是肯定可以的，我提到的指令追踪模型是一个单一模型。它已经被对齐了，已经通过训练和激励来追踪你给出的指示。它是一个非常方便的界面，使用这些神经网络可以让它们做任何你想做的事，可以用任何你想用的方式来训练它们。你也可以用任何方式进行个性化设置，用户可以在段落中指定或使用它们过去的一些操作。几乎一切都是可能的。

 

Pieter Abbeel：最近你和OpenAI的合作者一起发布了可以在同一模型中处理视觉和语言的CLIP和DALL-E，并根据需要有效地在两者之间进行转换。你们是如何做到的？

 

Ilya Sutskever： 我认为潜在的动机是，未来的神经网络不会同时处理视觉和语言，这似乎令人难以置信。 至少在我看来，有大量证据表明如果把神经网络做得很大，并且有一个合适的数据集。如果它们能生成语言，为什么不生成图像的语言呢？也许我们应该把它看作是一种探索，在图像和文本中训练神经网络，并使用DALL-E作为语境。

 

DALL-E实际上是一个在文本上训练的GPT3，像图像的文本表示一样，因此使用这些tokens来表示图像。从模型的角度来看，它只是一种时髦的语言，就像你可以在英语和法语文本上训练GPT。

 

那并不重要。如果你有一种不同的语言，某些人类语言和图像语言，那DALL-E的工作方式完全符合你的预期，看到神经系统生成图像仍然很有趣。CLIP是一个相反方向的探索，它学习了大量的视觉语境概念，健壮性非常好。

 

Pieter Abbeel：CLIP数据集比ImageNet大了多少？

 

Ilya Sutskever： 大了数百倍，它有开放式类别，这些类别只是自由格式的文本，但它确实有点大。它需要多样化数据，如果数据集来源很窄，就会损害神经网络。

5

拥有更强大的神经网络

 

Piter Abbeel：回顾自AlexNet突破以来的过去10年，似乎每年都有新突破。当你展望未来时，是否有一些令你感到特别兴奋的事情在未来几年里可能会发生？

 

Ilya Sutskever： 从某种意义上来说，深度学习的传奇故事要比过去10年时间还要长久。如果读了Rosenblatt在60年代的一些介绍就会觉得很有趣，他发明了感知器，是最早的可以在真实计算机上学习有趣东西的神经网络之一。

 

Rosenblatt曾称，总有一天神经网络会看、听到和能翻译，并成为你的朋友。他试图筹集资金来建造越来越大的计算机，也招来了一些学者的批评，这导致神经网络发展的首个低潮期到来。

 

我认为这些想法还在思考中，只是环境还没准备好。因为一旦需要数据和计算准备就绪，就能够抓住这个机会实现进步。我相信进展会继续，我们会拥有更强大的神经网络。我不想把可能发生的事情说得太具体。

 

这些事情很难预测，但好的一点是我们的神经系统更可靠，你可以相信它们的输出。当它们遇到不会的，只会告诉你，可能会要求进行验证。我认为这是非常有影响力的，它们会比现在采取更多的行动。

 

我认为，我们的神经网络仍然是惰性和被动（inert and passive）的，它们的用处会继续增加。 我肯定我们需要一些新的想法，即使这些想法中看待事物的方式可能与现在不同。但很多深度学习的主要进展都是以这种形式出现的。

 

例如，监督学习的最新进展，我们只是训练了更大的语言模型，但它们过去就存在，只是我们才意识到语言模型的方向一直都是正确的。我们眼前的东西实际上比我们预期的要更强大，我期望这些系统的能力可以继续提高，它们将在世界上变得越来越有影响力。我们将看到难以置信的革命性产品，可以想象很多人都会拥有非常强大的AI。最终，人们会进入一个享受AI工作的世界。

 

Pieter Abbeel：那真的很美好，你的模型在某种意义上反映了一种愿景，AI的好处可能是无限的。把无限的利益集中在一小群人身上对其他人来说并不好。很多人都在讨论AI的成本可能会变得越来越高。我在想是不是钱越多，模型越大，性能就越好，还是未来会不一样？

 

Ilya Sutskever： 找到“钱”半功倍的方法提高模型效率，这种动力是很强大的，它影响着这个领域的每个人。我期望在未来，硬件成本会下降，相关的方法会更有效率，可以用一小部分成本来做更多的事情。同时我认为模型越来越大是更好的，现实就是如此。

 

我希望有一种不同模型做不同事情的规则，有一些非常强大的模型用于特定的任务，更小更专业的模型也仍然非常有用。我也希望，对于每个级别的计算都有一些最佳的使用方法，人们发现这种方法并创建非常有趣的应用程序。

 

Pieter Abbeel：过去10年甚至更早，你在AI领域有许多研究突破。你有哪些习惯或特质帮助你拥有强大的创造力和生产力？

 

Ilya Sutskever： 给出笼统的建议是很难的。但这两个答案可能会有帮助，也就是节约时间和努力。你得面对困境，解决这些困难后就能得到你想要的。

 

Pieter Abbeel：节约的时间会做什么？

 

Ilya Sutskever：我有很多独立的工作，和一些人会进行非常重要且深入的研究性谈话。这是我主要在做的事。

 

Pieter Abbeel：我了解到你也是个艺术家，这对提高创造力有帮助吗?

Ilya Sutskever：很难说，但我认为是有帮助的。

（本文已获得编译授权，来源：https://www.youtube.com/watch?v=fCoavgGZ64Y&t=699s）

点击“ 阅读原文 ” ，欢迎下载体验OneFlow新一代开源深度学习框架