这位主编决心试验全新的论文评审方法，他会成功吗？

会员服务 ·

这位主编决心试验全新的论文评审方法，他会成功吗？

2017 年 7 月 4 日 Nature自然科研 Nature自然科研

原文以Crowd-based peer review can be good and fast为标题

发布在2017年5月30日的《自然》全球观点专栏上

原文作者：Benjamin List

德国马普学会煤炭研究所所长，期刊Synlett主编Benjamin List认为，众多彼此互动的评审人所提供的保密反馈能帮助编辑做出更好、更快的决定。

在它能发挥作用的时候，也就是大多数情况下，同行评审的确令人赞叹。但它也时常会为参与评审的各方带来焦虑。作者提心吊胆，等待接受可能会改变他们事业轨迹的决定，慷慨的评审人们不堪重负，而编辑不得不在截止日期过去几周后坚持不懈地发邮件提醒评审人完成工作。而当评审结果最终出炉时，它也可能是有偏差、不准确的，或者缺少发人深省的意见。

作为化学合成期刊Synlett的总编和曾向它投稿的作者，我见过太多言之无物的评审意见，比如“这篇论文非常好，应该发表”，或“这篇论文明显没有达到贵刊的标准”。

因此，我和我的研究生兼编辑助理Denis Höfler从去年开始试验另一种方法，我将它称为智能集体评审（Intelligent crowd reviewing）。现在，我们计划把它作为我们评估论文的主要工具。我们的理由是，在拥有在线BBS和多人编辑百科词条的今天，我们为什么还要用靠邮政马车邮寄论文的年代就在使用的方法来评审论文呢？

图片来源：Pixabay

我主张的并不是有时被称为“众筹评审”的做法——即每个人都能对公开发布的论文发表评论。我相信，匿名反馈更加坦诚，匿名投稿也赋予了作者决定如何修改和发表论文的空间。相反，我设想的是一个受保护的平台，在平台上，许多专家评审人可以阅读和评论投稿，也能浏览和点评其它评审人的评论。我认为这种做法能让编辑决策变得更迅速、更可靠。

我刚开始与我在德国马克斯·普朗克学会和Synlett期刊的同事探讨这一想法时，他们对此相当怀疑。编辑同事担心自己会被大量回复淹没，错过最佳评审人——能给出决定性意见的专家。其他人则忧虑“强势评审人”会主导讨论，保密性可能会被打破，并担心这样的做法无法推广：如果太多的期刊都采取了这种做法，他们便会开始争抢评审人。

作为一个实验化学家，我决定动手检验理论。我和Denis一道招募了100余位高资历评审人，他们大多是由我们的编委会推荐的。我们与一个IT创业公司合作，开发了一个封闭式的在线论坛，并开始寻求作者的许可，允许我们以这种方式评估他们的投稿。与此同时，常规同行评审人也会评估同一份论文。在做出编辑决定后，作者会收到来自集体评审人和常规评审人的两种评审报告。

去年五月，我们开始逐一向平台上传论文，仅仅几天内就收到了大量回复，给我们留下了深刻的印象。今年一月，我们同时发布了两篇论文，并设置了72小时的集体回复时间。每篇论文都收到了数十份在编辑看来内容十分充实的评论。综合起来看，集体评审的回复表现出了至少与常规评审人相当的细节关注度，包括对正文之外的补充信息的关注。

截至目前，我们已经集体评审了十篇论文。在所有十篇论文中，我们收到的回复都足以让我们公平迅速地做出编辑决策。相较于对照组，我们发现集体评审要快得多（只需几天时间，而非几个月），综合起来也提供了更加全面的反馈。

我们的作者给出了正面的回应，表示他们很欣赏集体评审的全面性和处理速度。其中一篇论文被拒了，论文作者也并没有提出投诉。作为编辑，我们需要阅读的内容的确变多了，但没有感到工作量显著增加：一份集体评审报告通常并不比三到四份常规评审报告难消化。

迄今为止，还没有评审表现出专横地主导讨论的倾向，不过就算评审人存在有问题的行为，编辑要撤换他们也很容易——因为编辑知道他们的身份。在这次有限的实验中，我们也没有发现违反保密协定的现象。

这种做法能维持下去，甚至推广开来吗？在我们的系统中，评审人看到的论文的确可能会比常规同行评审更多，但他们只需根据自己的意愿对自己选择阅读的论文发表评论。他们似乎也很喜欢与他人互动，而不是独自撰写意见。

目前，我们仍在考虑如何答谢最可信赖的评审人——也许可以提供免费订阅或在网站上公布他们的姓名。当然，对于目标受众相对较小的专门性期刊来说，组成一支集体评审队伍相对容易。就我们的情况而言，所有参与者都对化学合成感兴趣。未来，我们计划使用关键词来自动匹配论文与合适的评审人，这一策略将会应用于范围更广的期刊。

现在，我们仍然处在将集体评审转变为主要评审工具的早期阶段，接下来，我们一定还会遇到更多的挑战。为了维护一个高效运转的评审集体，我们将会做出多种努力，包括学习如何在新鲜感退去后继续保持评审人的参与度。实验仍在继续，但到目前为止，我的结论是明确的：集体评审是可行的。ⓝ

Nature|doi:10.1038/546009a

2017年南开大学26场国际人才论坛，有你感兴趣的吗？【推广】

点击“阅读原文”阅读英文原文

本文由施普林格·自然上海办公室负责翻译。中文内容仅供参考，一切内容以英文原版为准。欢迎转发至朋友圈，如需转载，请邮件Chinapress@nature.com。未经授权的翻译是侵权行为，版权方将保留追究法律责任的权利。