即使匿名也能知道论文作者？双盲评审的效力究竟如何？

来源：CACM

编译：Bing

编者按：2017年一项调查显示，仅有1/8的论文作者真正愿意接收评审者的盲审，另外约32%的印度作者和22%的中国作者选择双盲评审，而来自法国和美国的作者选择该方法的比例仅为8%和7%。这反映了在论文评选中，歧视和偏见仍然存在。然而，双盲评审就一定能避免偏见吗？ACM对这一方法进行了研究，结果表明效果虽有，但仍不完美。以下是论智带来的编译。

同行审议是学术文章发表的重要基础，但同时也可能受到作者的影响。有证据表明潜意识中的偏见会影响审议工作的结果。在一项控制实验中，国际计算机协会（ACM）在WSDM 2017上发现，在知道作者信息的情况下，76%以上的评审者更会推荐著名作者的论文，67%的评审者会推荐来自顶尖机构的论文。研究人员对国际会议“Evolution of Language”选取了其中三年进行研究，他们发现当评审者知道了作者身份，男性作者的论文分数会升高19%，而女性作者的论文分数会下降4%。在医学领域，美国的论文评审者更愿意接受来自美国研究机构的成果。

不论审议者的种族或性别如何，这些偏见会影响任何人。幸运的是，双盲审议可以减轻这种影响，减少偏见的产生，同时也是达到客观评审、完全基于论文质量进行评估的重要性一步。

在2016年举办的三场关于软件工程和编程语言的大会上，数据的收集都是以匿名方式进行的，这三场大会分别是：ASE、OOPSLA和PLDI。我们在此次实验中估计评审者是能在多大程度上解除匿名带来的影响。我们发现，匿名并不完美，但相对有效。70%—86%的评审者在提交意见时没有猜测作者是谁，并且74%—90%的评审者猜的都不正确。一些认为自己是某一领域专家的评审员更喜欢猜测作者的身份，但是基本猜不对。总体来说，我们非常支持双盲审议。

双盲评审如何操作？

参与ASE 2016、OOPSLA 2016和PLDI 2016的作者们被要求在论文中隐去有关作者的信息。PLDI还要求作者们不要宣传自己的成果，并且一旦出现任何形式的作者信息，都会拒绝该论文。ASE会直接拒绝在第一页就出现作者信息的论文，但是对于文中不经意的作者信息还是允许的。而OOPALS会要求删去出现作者信息的地方。

评审表中有关于作者身份的选择题，只有大会主席才知道答案。如果评审员认为他知道至少其中一位作者的身份，那么就会被问到这个问题。这里的数据都是来自第一次提交的论文版本。在ASE中，在初审之后，评审员就能看到作者身份信息；OOPSLA是在PC meeting之前知道作者信息；PLDI在所有论文接收结果确定下来之后才能知道作者信息。

对有效性的威胁

如果评审员能猜出其中一位作者，他必须说出这一假设。如果没有猜测，可能表示没有按照规定进行。然而，这种风险较小，例如OOPSLA的PC成员可以选择退出，只有83%的PC成员参加了。而如果询问评审员他们是否能猜出作者，很有可能会影响他们的行为：本来没想过这个问题，被问到后就有了某种倾向。在猜测中，关于评审员置信度的数据可能会影响我们的结论。评审员可以针对一篇论文提交多个猜测，只要有一个猜对就算是正确的，所以只要多些几个人的名字猜对的几率还是很大的。可是我们没有看到这种情况的出现。

匿名效应

在三场会议中，70%—86%的评审员在提交表中没有对作者进行猜测，这表示评审员一般都看不出来作者是谁。下表总结了各大会议中评审员、论文和审议过程的数据，可以看看对作者身份猜测的分布：

评审员包括大会和外部委员会的人，不含主席。所有论文至少有三位评审员

如果评审员确实有猜测，正确率似乎很高（ASE中有72%的猜测是正确的，OOPSLA有85%是正确的，PLDI中74%是正确的）。但是，75%的ASE论文、50%的OOPSLA论文和44%的PLDI论文逗人正确猜对一位作者。

评审员到底能不能猜对？

下表总结了评审员做出猜测的次数以及猜对的次数，X表示专家评审员，Y表示一般评审员，Z表示门外汉。对于每场大会，X评审员做出猜测的人比Y和Z都要多，但是猜的正确率却都差不多，除了Z评审员在PLDI中的正确率比X和Y低太多。我们认为，那些认为自己是专家的评审员更乐于猜测论文作者，但是一猜一个准就不见得了。

论文匿名效果怎样？

能让人发现作者信息的其中一个可能的原因就是保密工作没做好。匿名不够细致的论文可能会让人猜到作者。下图显示了评审员对论文作者猜测的分布，只有一人进行猜测的论文数量是最多的。

对各论文进行猜测次数的分布

条形图中的深色部分表示猜对作者的数量；对一篇论文猜测的越多，错误率越低。结合三场大会的数据，X2表示对论文有多重猜测的结果正确率也有很大的不同。这一对比对于OOPSLA很重要，但是对ASE和PLDI不重要。在各会议中，论文的猜测正确率如下：OOPSLA，只有一次猜测的论文和其他两类论文的猜测正确率相差很大；PLDI，在一次猜测和三次以上猜测的正确率也相差较大。对ASE来说，只有1.5%的论文有多于3次的猜测，而PLDI中有13%的论文都经过3次以上的猜测。但是在PLDI中，这些13%的论文占所有被猜测论文的40%，所以提高论文的匿名率对于减少猜测还是很重要的。

被猜测的论文更有可能被接收吗？

接下来，我们研究了论文接受率和被猜测作者之间的关系。下表显示了各会议的论文接收率、没有被猜测作者的论文、至少猜对一个作者的论文和全部猜对的论文数量。

我们发现三场会议的情况各不相同：ASE不受评审员猜测行为的影响，接受率大致相同。其他的ASE数据也表明，每位评审员对论文的评估与猜测行为没有联系。而OOPSLA和PLDI中，没有经过猜测的论文比至少猜中一位作者的论文更有可能被淘汰，其中PLDI会议中没有经过猜测的论文比哪些全部猜错的论文接受率也要低。一种可能的解释是OOPSLA和PLDI的评审员更喜欢他们认为质量高，且知道作者的论文，所以更愿意对此类论文进行猜测。

评审员如何发现作者信息？

我们询问OOPSLA和PLDI的评审员是否会从引用文献中发现作者的特征。在进行了作者猜测的评审员中，分别有37%和44%的评审员这样做了。在询问ASE评审员们是通过哪些信息进行的推测，他们主要方法有：辨别论文话题、对前人研究、数据集或源代码的引用、之前看过草稿、见过某次发言等等。结果表明，想要完全屏蔽作者信息是不可能的。有些评审员在搜索相关研究时会发现GitHub上的项目记录。有些论文和作者之前的研究紧密相关。但是，仍然有屏蔽作者信息的简单粗暴的方法。例如，整个社区对匿名规则的遵守、长久的规范和明确的规定都能减少这类问题的发生。但有的时候，评审员可能过于自信，也有猜错的时候。

来自程序委员会主席的监督

所有流程结束之后，大会的程序委员会主席（PC Chairs）会回顾双盲评审中的成功之处与挑战。所有主席都非常支持这种方法，他们都认为双盲评审能减轻潜意识中的偏见。还有人认为这种方法能让参与者更自由，因为这不用考虑到会给自己认识的人带来什么影响。

不过，主席们对于什么时候公布作者信息有不同意见。PLDI的程序委员会主席强烈支持完全的“双盲”，也就是说被拒绝的论文仍然可以以匿名方式投送到其他评审员那里。ASE的PC chairs认为在一些案例中，公布作者身份有助于更好地了解论文的价值和贡献。PLDI的PC chairs会在要求下公布作者信息，这样能在整个评审过程中减少偏见，同时保留被拒论文作者的信息。

原文地址：cacm.acm.org/magazines/2018/6/228027-effectiveness-of-anonymization-in-double-blind-review/fulltext#PageTop