会员服务 ·

仅仅因为方法 Too Simple 就被拒稿，合理吗？

2021 年 11 月 3 日 极市平台

↑ 点击蓝字关注极市平台

作者丨小戏

来源丨夕小瑶的卖萌屋

编辑丨极市平台

极市导读

如果你看到自己实验行之有效的论文被退稿，而收到的退稿理由仅仅是“方法太简单”，你会怎么想？这两天在推特上，佐治亚理工的 Riedl 教授吐槽了自己收到的 AAAI phase 1 退稿理由居然是因为“这方法似乎太简单”，引起了广泛的讨论。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

Riedl 教授列出了自己收到的两点退稿理由：一是方法太过简单，二是不满于他只采用了人工评分，而没有使用 BLEU score（尽管他们做的任务是故事生成......）。面对这两个退稿理由， Riedl 教授只能表示"I can't even."

这段被拒稿的经历似乎使得大家相当共情，评论里有分享相似经历的：

也有归谬出一个讽刺的因果关系的——因为我可以理解你的论文，所以我拒绝了你的投稿。

有对人性展开思考的——人们只会喜欢他们所不能理解的东西。

也有使用了朴素的辩证法得出：投稿的最高境界就是让一个评审觉得太简单让另一个评审觉得太难。

有对简单下定义的，强调简单的强大力量：

或者搬出了爱因斯坦：“凡事要尽可能简单，但不能过于简单”。

还有直接对 BLEU 开炮的，认为这是计算机科学最具破坏力的发明之一。

甚至乎，还有写成了一个故事。换成暴漫形式的话，大概是这样：

看了这么多，倒是这个评论一针见血：THIS. Simplicity is a feature, not a bug.

事实上对“一篇论文是否应该由于方法简单而被拒稿”这一问题做出价值判断是相当容易的。更加有趣的是 Riedl 教授的两点引申：一点是他提到的“如无必要，勿增实体”奥卡姆剃刀原理，另一点则是他指出的学术界对“简单方法”的偏见。

奥卡姆剃刀的误用

在推文中， Riedl 教授使用了奥卡姆剃刀原理为自己辩护，即“因为‘如无必要，勿增实体’，那么如果我的解决方法简单有效，为什么还要求我使用一个复杂模型呢？”。然而，奥卡姆剃刀原理作为一个经验性的法则，它并不是“保真”的。换言之，奥卡姆剃刀原理它并不一定在所有情况下都正确。事实上，我们会发现用于论证这个法则的常常是一些安排妥当的例子，譬如在管理学的课堂上经常讲述这样一个故事：

这种故事与其说是归纳法的经验材料，不如说是“带点教育意义”的心灵鸡汤。而在评论区内，也有这样一则评论，对 Riedl 教授的辩护提出了质疑。

科学研究与工程实践对于“好方法”的要求有所不同。Riedl 教授所谓的“简单有效即可”或许足以满足工程实践的要求，却未必在科研界存在深远意义，并值得发表。显然，科学所要求的普遍性与有效性天然使得它有一种更为复杂的一套评价体系，远远不止“有效即可”这么简单。但也正如下方另一位网友所指出的那样：科学与工程是交织在一起的。我们无法想象科学与工程之间那条泾渭分明的分界线——一个不断从理论出发，演绎与解释；而另一个则不断从实验出发，归纳与总结。因而这种二分式的质疑也不足以完全瓦解简单性法则的合理性。让我们回到奥卡姆剃刀原理本身。从某种意义上讲，对类似奥卡姆剃刀这样的简单性法则的探讨实际上就是波普尔关于科学证伪主义的论证起点。以罗素为代表的逻辑实证主义哲学家将所有命题还原为原子命题，而主张原子命题的真假可以由经验证实——比如“所有天鹅都是白色的”可以被分解为：

而这里“这是一只天鹅”与“这是白色的”二者是可以被经验直接证实的。由此，在逻辑实证主义眼中，如果一个命题的所有原子命题都被经验证实，那么从逻辑律上讲这一命题就是一个真命题。如果我看到的所有的天鹅都是白的，那么所有的天鹅都是白天鹅这一命题就为真。

这种观点可以说为长期以来的科学实证主义提供了理论基础。它表明：评价一个理论的好坏源自于它是否可以很好的解释经验现象。譬如海王星的发现证明了牛顿的万有引力定律；参数过多的模型容易过拟合，因而我们倾向选择更简单的模型，也部分说明了奥卡姆剃刀原理。然而波普尔却从由所有原子命题为真到原命题为真这个严重依赖归纳法的飞跃入手，指出任何归纳命题都不能得出普遍有效的全称陈述。即哪怕我看到的所有天鹅都是白的也无法否认出现一只黑天鹅的可能性。这样一种质疑使得归纳法丧失了之前长久以来先验的普遍有效性，也由此从“理论的被经验证实”便无法再天然的导出理论的科学性。比如可以精准预测太阳东升西落的地平说并无法支撑自己为一个科学的理论。因而波普尔略显简单粗暴的使用可证伪性这个概念为科学与非科学画界，即是说一个理论可以被称为科学理论，必要给予被经验验证的可能，而类似“上帝既存在又不存在”便是典型的非科学理论。因而，在波普尔的观点下，“如无必要，勿增实体”这句话实际上是非科学的，因为作为前提的“必要”并无法被清晰定义出“何为必要”。这种不清晰得界定意味着，哪怕我炫技式的缝合各种新鲜方法于一体，我也可以从某种程度上证明这个究极缝合怪确有存在的必要。

而从这个角度来看，简单性法则实际上就变成了一种“科学试错法”。与其说它可以为“因为我的模型简单所以我的模型就很好”提供理论支持，不如说它只是在指导我们“在我们通过实验探索我们所提出的假说时，应该尽可能选择假设更少的那个”。由此，当审稿人的话语变为“如果你没有尝试过更复杂的模型进行对比，你为何可以说你的简单模型已经很好了呢？”时，奥卡姆剃刀原理便无法为 Riedl 教授提供更多的辩护。

对“简单”的偏见

波普尔对归纳法的批判的意义还不止于此。从某种程度上讲波普尔解构了近代以来科学研究的绝对真理属性。即波普尔提出，如果演绎法是答案隐藏在大前提下的同义反复，而归纳法又丧失了普遍有效性的基础，那么人类的一切知识如何与所谓真理挂钩呢？在这种质疑下，科学研究就不再是建立在真理基础上绝对理性的演绎。其形成之初便是有诸如信念、灵感等的非理性因素参与其中的。这就又直接牵扯到第二个问题，即学术界对“简单方法”的偏见上。在此次讨论中，人们不无意有所指的暗示着这样一个事实：当下学术界似乎并不将复杂视为解决问题可选方法之中的一种，而是将其视为一种提高入行门槛的手段。

在社会科学中，范式这个概念几乎已经成为了一个默认的共识。从词源上讲， “Paradigm” 的原义是指词形变化表。而哲学家托马斯·库恩在《科学革命的结构》一书中对其进行改造，用以描述一个科学共同体所共有的、相互间彼此理解与默认的信念、理论、思维方式、实验技巧等等。这并不是一个清晰的定义。库恩从未对这一他所提出的极其著名的概念下过精确地定义，而往往是在不同的语境下赋予其不同的指谓。从狭义上讲，它可以用来指某种固定的实验方法、操作模式；从广义上理解，它甚至可以用来指某一领域的科学家们对世界整体的信念。

试问一下，当我们遇到一个文本分类的任务时，为什么我们会第一时间想到用诸如 TextCNN、BERT 等等的工具？为什么我们在操作时会先考虑如何进行分词、如何进行特征表征？在范式理论下，这显然是因为我们共处于自然语言处理这样一个科学共同体内，我们共享着一整套信念、理论与术语。当我们说起 Transformer 时大家都可以理解是一个有用的模型而非指的是一个变压器或变形金刚。

然而，范式的弊端在于：当科学共同体的搭建源于共同的信念，而非所谓“理性的必然”时，对“简单性”的偏见就从一个个体的非理性行为上升到了整体的结构性的问题。现在有多少人还相信 AI 这门学科的最高理想？或是说相信 AI 这门学科目前的范式可以实现或达到 1956 年在达特茅斯会议上那批人工智能的先行者们展望的真正的通用人工智能？事实上当这种信念被越来越多地否认或遮蔽时，论文的发表似乎便只有方法论的意义。纵然 2 完全可以用 1+1 来代替，但使用 10000-9998 似乎可以更为精致的水出一篇论文。在问题本身没有被革新的情况下，方法论的更高更快更强才有更加显著的意义。

或许我们可以看到，现在 AI 这门学科或多或少地在规避着一些问题。当面对来自 AI 哲学家的批评时，如“如果神经网络本质上是一种统计学模型，那么现在的 AI 究竟是一门有关人工智能的学科还是一种变相的应用统计学？”，“如果神经网络在行为上具有有限的灵活性与可塑性，那么它何以被用来建模超越性的智能？”，“当原始输入数据发生突变时，神经网络模型是否依然是可靠的？”等等问题，AI 从业者都在刻意保持一种缄默。也许恰如 CV 领域的戴维斯教授描述的那样：“通常的情形是，技术的发展是由小团体中的科研人员的个人特殊兴趣所激发，而其方法也往往只是为特定问题量身定做的。与此情景相应的，却是如下事实：各种算法、程序、技术都受限于不同研究者各自的创造性。”换言之，现在 AI 界似乎缺少一套系统的理念与方法整合不同领域不同任务不同数据集上的不同成果，同时也缺少或是刻意遮蔽了一个统一的期望解决的最高问题，而将目光下放到在特定数据集上不同方法论间的竞争。不同数据集上不断刷新的准确率或许仅与不成正比膨胀的参数量有相关关系，也因而一种“简单的”，哪怕是“有效的”的方法因为其本身的体量与外形上的先天劣势而受到来自所谓审稿人的恶意拒绝。

写在最后

关注科学伦理的物理学家约翰·齐曼将现在这样一个科学的时代定义为“后学院时代”。在这个时代下，一个科学共同体并不是一个传统上一心追寻真理的理论假设，而是受到多方利益集团干涉，与社会、政治不断产生产品交换的新的社会制度。也由此科学界与科研人员不再是一个理想条件下绝对理性的概念预设，而被还原为一个社会中的活生生的个体，在没有理性预设的保护下，科学伦理便有了登场的必要。

然而科学伦理从不是被强加在人身上的外在之物，而是一个健康发展的学科的内在要求。因而尽管科研的问题不能用对某些“大问题”的追求而被简单的一言以蔽之，但缺少对学科内基本问题的认识与追求，很难真正形成一种自发自觉的科研伦理，当科学研究完全被解构为一种谋生的手段之一，科学伦理也便不再具有其先天的约束力与管辖权。总之，如果只是回答“仅因方法 Too Simple，就该被拒稿吗？”这一问题是相当简单的，但这个答案是否可以引我们思考，当我们说出“不应该”时，心中所期待的应该应是如何？或许是更为有意义的话题吧。

如果觉得有用，就请分享到朋友圈吧！

△点击卡片关注极市平台，获取最新CV干货

公众号后台回复“CVPR21检测”获取CVPR2021目标检测论文下载～