观点 | NIPS 2017经典论文奖获得者机器学习「炼金术」说引热议，LeCun发起反驳

2017 年 12 月 8 日 机器之心

机器之心报道

参与：路雪、刘晓坤、李泽南

去年的 NIPS 曾因 GAN 引发了一场风波，而今年的 NIPS 同样有着不同思想的碰撞，而这场机器学习「炼金术」讨论竟是从大会颁奖典礼上开始的。

谷歌研究员，MIT 博士 Ali Rahimi 获得了今年 NIPS Test of Time 大奖，他在颁奖时上做了一番演讲，主要介绍之前的研究成果，他在演讲中还打了个比方「机器学习是炼金术」，但这一言论遭到了 Yann LeCun 的反驳。在这篇文章中我们将看到不同思想的碰撞。

Ali Rahimi 的完整演讲视频

Ali Rahimi 在演讲中说道：

「吴恩达曾说过，机器学习就像是新时代的电力。我却认为，机器学习正在变成新时代的炼金术。炼金术本身并不坏，它引出了冶金、纺织、玻璃制造，也推动了人类医疗科技的发展；但与此同时，炼金术师还用水蛭来给人治病，希望让其他金属变成金子。」

「对于 18 世纪的物理学和化学而言，想要理解宇宙的法则，科学家们需要努力抵抗有两千年历史的炼金术的不利影响。」

「现在，如果我们想要做一个图片分享系统，『炼金术』是可以奏效的。但我们的需求早已不止这些了。我们正在试图构建基于人工智能的医疗服务系统、对话系统，我们的机器学习系统甚至影响了大选结果。我希望我所生活的世界是基于非常稳固、有规律的、理论性的知识之上的——而不是炼金术之上。」

「过去 NIPS 大会上经常出现的『学术警察』在哪里？我非常怀念他们。」

……

「我们现在是这样构建新知识的：我们应用最好的工具，简单地分析自己做的设置，我们学习现象，然后在自己不理解背后原理的情况下完成了研究。就这么完成了。」

Yann LeCun 对此番言论表示道：

Ali Rahimi 在 NIPS 上的演讲很好，很有意思，但是我不同意他的观点。他的主要观点是机器学习的当前实践就像「炼金术」（alchemy）。

这种观点具有侮辱性，而且也是错误的！

Ali 抱怨当前机器学习尤其是深度学习使用的很多方法缺少（理论）理解。（理论或其他方面的）理解当然重要。这正是我们很多人参加 NIPS 大会的目的。但另一个重要目标是发明新方法、新技术和新技巧。

在科技发展史上，工程的发展几乎总是先于理论理解：镜头和望远镜的发展早于光学理论、蒸汽机的发展超越热动力学、飞机的发展快于空气力学、无线电和数据通信的发展快于信息理论、计算机的发展早于计算机科学。

原因何在？因为理论家本能地研究「简单的」现象，不主动研究复杂现象，除非它具备很重要的实践意义。

仅仅因为理论没有追赶上实践的水平，就批评整个机器学习社区使用「炼金术」，这种言论是危险的。

为什么危险？正是这种态度使机器学习社区放弃神经网络 10 年有余，尽管大量实证研究证明神经网络在很多情况下非常有效。

之前，神经网络和非凸损失函数不确保一定会收敛，不过它们在实践中是奏效的（和现在一样）。但是人们就这样不分良莠地将它舍弃，转而专注于「可证明」的凸方法或「被夸大的」模板匹配方法（甚至 1957 年的随机特征方法）。

坚持一套方法仅仅因为它的理论比较充分，并因此忽视另一套实践效果更好的方法，仅仅因为缺乏理论理解，这种做法何异于缘木求鱼（原文：就像你在街灯下找丢失的车钥匙，虽然心里明明知道丢钥匙的地方并不在这）。

是的，我们需要更好地理解方法。但是正确的态度是尝试改变现状，而不是因为现状没有得到改变而去侮辱整个社区。

我组织和参加过很多深度学习研究者和理论家参与的 workshop，有些 workshop 由 IPAM 举办。作为 IPAM 科学顾问委员会的一员，我的使命就是使深度学习获得数学社区的注意。事实上，我作为联合组织者组织了一场将于 2018 年 2 月举办的 workshop（http://www.ipam.ucla.edu/…/wo…/new-deep-learning-techniques/）。

如果你不满意我们对你们日常使用方法的理解，那么就去改变它：研究深度学习理论，而不是抱怨别人不去做这件事，也不是认为如果仅使用「理论正确」的方法，NIPS 会变得更好。并不是这样。

Ali Rahimi 的回复：

Yann，感谢你的理智回应。「If you don't like what's happening, fix it」正是 Moritz Hardt 一年前告诉我的话。仅靠一个小群体是很难做出重大成果的，说实话，我已经被这个任务的巨大规模所淹没而不知所措。我这次演讲的目的就是请求他人的帮助。

我认为问题并不在于理论，而在于教育。我呼吁的是简单的定理和简单的实验，从而让所有人能无障碍地交流各自的见解。你很擅长构建深度学习模型，是因为你运行实验的经验比多数人都丰富。想象一下新手的困惑处境吧。我们做的事情的确看起来像魔法，因为我们并不讨论技术细节，而是模型整体。入门的过程太神秘了。

我同意炼金术式的方法很重要，正是它们使我们加快速度。这些方法解决了很多紧迫的问题。

我很尊重那些能快速在大脑中构建直觉和可行系统的人。你和我在谷歌的大多数同事都具备这种能力，但你们只是少数。

我希望你们传授一些技术细节，帮助我们也能达到你们级别的生产能力。而这就需要：简单的实验，简单的理论。

Yan LeCun 的回复：

简单而通用的理论当然很好。

热力学理论告诉我们不要浪费时间寻找拥有 100% 效率的热机或者永动机。

机器学习中也已经有这样适用于所有学习机器包括神经网络的理论（例如，VC theory consistency/capacity、没有免费午餐定理等）。

但我们很可能不会有具体到神经网络的「简单」理论，就像纳维-斯托克斯方程和三体问题也没有解析解。