深度学习要走向更深？Gary Marcus称DL与经典AI结合才是出路

---

  新智元报道  

来源：MIT Tech Review

编辑：啸林、梦佳

【新智元导读】3月26日，在MIT科技评论一年一度的新兴科技峰会上，AI领域的两位大咖进行了一场关于AI未来走向的大讨论，其中曾任Uber机器学习负责人的Danny Lange是DL的忠实拥趸，而Robust.AI的创始人Gary Marcus一直以来却对DL持怀疑态度，他认为将DL和经典AI相结合才能更好地发挥效用。「新智元急聘主笔、高级主任编辑，添加HR微信（Dr-wly）或扫描文末二维码了解详情。」

自1950年代以来，AI的发展一直承载了过多的未能实现的期待。尽管近年来由于深度学习的突破而实现了质的飞跃， 当今的AI领域仍然有诸多问题亟待突破：面对攻击时的脆弱，无法从不断变化的环境中不断学习以产生新概念，并且充斥着（从人类数据中习得的）偏见。 这些挑战使AI技术难以信任，也限制了其造福社会的潜力。

3月26日，《MIT科技评论》举办了年度新兴科技峰会（EmTech Digitalevent），两位AI领域的大咖在虚拟舞台上激辩AI领域如何克服未来的诸多挑战。

纽约大学名誉教授、Robust.AI的创始人兼CEO Gary Marcus 是深度学习（DL）领域的著名评论家。在去年他出版的《重启AI》一书中，他认为AI的缺点是该技术所固有的。他认为， 研究人员不仅仅要关注DL，而是要将其与经典AI，或者说具有解码和逻辑推理能力的符号主义AI体系相结合。

Gary Marcus

软件开发公司Unity的AI和机器学习（ML）副总裁 Danny Lange则是深度学习的忠实拥趸 。他曾任Uber的ML负责人、Amazon的ML总监。他也曾在微软负责大型ML产品。目前，他负责帮助DeepMind和OpenAI等实验室构建虚拟训练环境，来训练他们的算法。

Danny Lange

活动期间，两位专家分别做了简短的演讲，然后坐下来进行专题讨论。 他们二人之间的分歧反映了AI领域内的许多冲突，这种持续不断的观点斗争强有力地塑造了AI的发展走向，它的未来前景也面临着巨大的不确定性。

问： Gary，你善于利用自己在神经科学和心理学方面的专业知识来弥补当前AI缺失的部分。为什么你认为经典AI应该与深度学习相结合？

Gary： 首先我想说， 我们所需要的这种混合模型比深度学习和经典AI的简单相加要复杂得多 ，当然至少得是二者的相加。还会出现很多我们目前完全想象不到的事情，所以我们要保持开放的心态。

为什么要把经典AI结合进来？ 作为人类，我们的所有推理建立在关于世界的各种知识之上。但深度学习并不包括这些知识。这些系统不可能表示出一个球或是瓶子是什么，以及这些东西是如何相互作用的。所以说，虽然结果看似不错，但通常深度学习不具有（类似于人的）概括能力。

经典AI就可以成为深度学习的舵手。 例如，它可以对一句话进行语义解析，并了解世界上所发生的事情，然后对其进行推理和判断。但它也有自身的问题：比如，覆盖面不够广，因为大部分材料是人类手写的（因而不便于机器识读）。但是，至少从原则上讲，这是我们所知的可以使系统对抽象知识进行逻辑推理和归纳的唯一方法。它不一定绝对正确，但它是迄今为止我们力所能及的最佳方法。

有很多心理学依据表明，符号性表达的能力是与生俱来的。 我从事认知开发的时候，曾对七个月大的婴儿进行实验，结果表明这些婴儿具有概括符号知识的能力。如果一个七个月大的婴儿都能够做到这一点，那我们为什么不在建立AI体系的时候也把这种符号性表达的机制囊括进去呢？

问： 你有看到过任何将深度学习和符号主义AI相结合的成功案例吗？

Gary： 在《AI的下一个十年》一文中，我列出了大约20个试图将深度学习和一些符号知识的混合模型相结合的近期项目。 一个广为人知的例子就是Google搜索。当用户输入搜索词条时，经典AI就会派上用场，来试图消除单词的歧义。 这种AI机制会尝试使用Google知识图表判断该词条是在说“巴黎”，还是在谈论帕里斯希尔顿酒店，是德克萨斯州的巴黎市还是法国的巴黎。 同时Google会使用深度学习来完成其他任务，比如使用BERT模型来查找同义词。 当然，Google搜索并不是我们对于AI的终极梦想，但它证明了这种结合模型不是一个无法实现的梦想。

问： Danny，你认同我们应该转向对这些混合模型的研究吗？

Danny： 我不同意。 我觉得符号主义AI的问题是，它在很大程度上其实是试图模仿人脑的运作模式。 这就好比，在18世纪，为了实现更便捷的交通方式，工程师们致力于打造机械马，而不是发明内燃机。因此，我对尝试通过模仿人脑来实现AI这种方式持怀疑态度。

深度学习不一定是灵丹妙药，但是如果有足够多的数据，和正确的神经网络架构，它就能习得我们人类都无法解读的抽象概念。 从这个意义上讲，深度学习在解决各种各样的问题方面是非常有效的。

问： 听起来似乎你们二人在AI的目标方面出现了意见分歧。

Gary： 我觉得这有些讽刺。去年12月，我与加拿大计算机科学家约书亚·本希奥（ Yoshua Bengio）辩论时，他说深度学习唯一的根本就是基于神经学。所以，我已经从深度学习学派中听到了两个完全相反的观点，这有点奇怪，我不认为我们应该太关注这些观点。

相反，我们应该问：“符号对我们来说是否有帮助？”答案绝对是肯定的。世界上几乎所有的软件都是基于符号构建的。所以问题应该是：“从经验上看，深度学习在按照我们想要的去做吗？”到目前为止最大的问题在于它没有模型。Vicarious （一家由AI驱动的工业机器人初创公司）很好地展示了DeepMind广受欢迎的Atari游戏学习系统，它玩“打砖块”游戏的水平远超人类。但后来，当Vicarious将操纵杆移动了几个像素后，整个过程都崩溃了，因为学习水平太浅了。它没有板、球、砖块这样的概念。 为“打砖块”设置符号算法很容易就能补上这些短板。

用深度学习训练“打砖块”游戏

之所以要看向人类，是因为人类在某些方面要比深度学习系统做得更好。这并不意味着人类最终总是正确的榜样。我们希望系统能同时具有计算机和人的某些属性。我们不希望我们的AI系统因为人类有不好的记忆而同样如此。但是， 由于人是可以对事物深入了解的唯一系统模型（实际上是我们所拥有的唯一模型），因此我们需要对它认真对待。

Danny： 是的，所以这说明了 世界上的编程语言是基于符号的，这是正确的，因为它们是为人类实现自己的思想、执行自己的想法而设计的。

深度学习不是人脑的复制。也许您可以说它是受神经领域启发的，但它是一个软件。深度学习还没有真正深入进去。到目前为止，我们用于培训的数据量很有限。我们的结构有限，计算能力也有限。但是关键是深度学习可以学习概念和特征，且这不是人为工程。 我认为，Gary的方法与我之间最大的区别是，到底是人类工程师给系统提供理解力，还是系统通过自主学习产生理解力。

问： Danny，您提到，由于数据和计算的局限性，我们还没有真正挖掘出深度学习的全部潜力。鉴于深度学习的效率如此之低，我们不应该开发新技术吗？目前，为了解锁深度学习的新功能，我们只能大幅增加计算量。

Danny： 深度学习的一方面问题是，到目前为止，它实际上确实是基于一种经典方法：生成了一个庞大的训练数据集，然后将其输入。 可以真正改善深度学习的办法之一是主动学习过程：训练一个能优化训练数据的网络。 你不必仅仅输入让人麻木的巨大数据量来改善学习过程，而是可以针对特定范围不断调整培训数据。

问： Gary，您指出了深度学习容易受到偏见和对抗攻击的影响。Danny，您提到综合数据是解决此问题的方法，因为它们“没有偏见”，并且您可以运行数百万个模拟，从而可能消除对抗性漏洞。您对此有何回应？

Gary： 单靠数据还不能解决。综合数据不会帮助解决诸如贷款或工作面试的偏差等问题。真正的问题在于，这些系统倾向于永久保留历史原因产生的偏见。 综合数据不是解决方案，这与构建复杂到足以理解我们要替代的文化偏见的系统恰恰相反。

对抗攻击是另一种事情。数据可能会对其中一些有所帮助，但到目前为止，我们还没有真正消除种类繁多的对抗攻击。我给你看了那个例子，一个棒球上面沾着泡沫，就被系统识别为浓咖啡。如果有人事先考虑用模拟意式浓缩咖啡制作棒球，并仔细打上标签，那就好了。总会有令人意想不到的情况发生，如此一来，纯粹由数据驱动的系统将继续受到攻击。

Danny： 无论你做什么，现实世界的数据都会有偏差。在特定环境中收集数据，例如自动驾驶汽车，街道上可能有90％的成年人和10％的儿童。这是正态分布。但是，机器学习系统需要对数量平均的成人和儿童进行训练，以安全地避免撞到他们当中的任何一个。因此，使用综合数据，如果足够小心，你基本上可以平衡并避免出现偏差。这并不意味着你不会创造新的偏见，对这一点必须小心。当然，隐私问题已经被解决，因为任何培训数据中都没有真正的人或孩子。

至于对抗攻击的例子，许多情况下的问题是，它们基本上是针对弱计算机视觉模型开发的，这些模型是根据网上的一两千万张图像进行训练的，这个数据量远不足以训练出一个一般化的模型。 我们需要大量具有惊人的域随机化的数据集，才能对这些计算机视觉模型进行一般化概括，以使它们不会被骗。

问： 您认为AI领域在未来最令人兴奋的方面是什么？

Gary： 去年，混合动力车出现了真正的发展。人们正在探索前所未有的新事物，这令人兴奋。

Danny： 我认为是多模型系统，它由许多用于感知和行为的不同模型组成，共同解决实际的复杂任务。

原文链接：

https://www.technologyreview.com/s/615416/ai-debate-gary-marcus-danny-lange/