Nature专栏：“预先登记”制度——让论文报喜也报忧

2018 年 10 月 26 日 论智

来源：Nature

编译：Bot

编者按：大约在3年前，英国学界首先掀起了一场有关是否要实行“预先登记”制度的大辩论，许多学者批评传统刊物过于看重“震撼人心的科研成果”，导致研究人员“报喜不报忧”，实验过程不透明。所谓“预先登记”，就是研究人员先提供理论论文和实验设计，通过同行评审后再进行实验。无论实验结果如何，论文最终都会被接受。虽然不少人对这种新制度都不看好，但它近年来确实在全球范围内产生了很大影响。

近日，Nature上刊登了一则关于“预先登记”的初步调研结果的短文，似乎印证了这种方法在实践中确有积极效果。

在收集数据之前登机研究方案可能会改变研究结果

一直以来，各大期刊在论文出版上的偏见是影响科研成果可信度的一个重要因素，出于对“重大科研成果”的偏爱，那些未能找到积极结果的研究往往会被归档，从此永不见天日。

为了避免“不重要的论文”被束之高阁，近年来一些研究分析表明，研究人员可以先登记研究方案并进行同行评审，之后再开始正式实验。这样做将有助于改善现有的“出版偏见”。

但英国卡迪夫大学的研究人员近期对“预先登记”制度做了一次初步调研，并出具了一份报告。他们的研究表明：相比其他制度，“预先登记”制度可以让科研成果呈现过程中的更多失败尝试。这份报告已于10月17日发布到PsyArXiv存储库。

卡迪夫大学的调研

“预先登记”制度的核心是研究人员先向期刊提交一份研究方案，经过同行评审，如果期刊承诺会在研究完成时刊登相关论文，那研究人员就可以开始正式实验——无论实验结果是好是坏，论文一定会被发表。

虽然听起来很陌生，但这种做法在过去几年中已经出现在科学界。以医学领域为例，为了提高实验质量、效率，保障公众知情权和监督权，包括美国、中国在内的国家已经纷纷设立临床试验登记与信息公示平台，如果有机构要进行药物临床试验，他们必须先在平台上提前公示药品、受试者等详细信息。背靠政府的法律法规，目前，采用“预先登记”制度的相关期刊已有约140种，其中已发表的论文有130篇。

但这些研究的结果质量如何？科研人员是不是更诚实了？为了判断“预先登记”制度是否会提高期刊“消极成果”的占比，心理学家Chris Allen和David Mehler选取了113篇生物医学和心理科学方面的论文，进行了一次初步调研。

总体来看，在这113篇论文中，研究人员总共提出了296个独立假设，其中有61%的假设被实验证明为“假”，也就是“消极成果”占比61%。而对于其中的“预先登记”论文，“消极成果”占比更高一些，有66%；非“预先登记”论文的“消极成果”占比只有55%。

考虑到由于期刊杂志的偏见，许多研究人员也养成了“报喜不报忧”的写作风格，因此上述分析至少可以说明，在这113篇论文中，“预先登记”的论文确实结果更真实，不会存在为了漂亮数据故意删减“消极成果”的行为。而根据另一项统计，以往科学期刊中论文的“消极成果”占比只有5%-20%，可见缺乏事先监督确实容易让人钻空子。

关于调研的评价

上述报告最后，两位调研人简要提炼了“预先登记”制度的优点：

提高研究可信度：一方面，由于论文的理论、数据、实验方法等都是事先白纸黑字公开的，这增加了研究的透明度，方便他人监督，能确保高质量的数据和分析；另一方面，公开这些信息有助于同行评审员理解研究内容和进一步复现，这也能印证研究的可信度。
构建有益体系：首先，开放的、可复现的科研体系有助于帮助研究人员成长和促进互相合作，计算机科学开源社区就是一个例证。其次，“预先登记”可以提供更多发表论文的机会，防止有意义但不够“惊人”的成果被束之高阁。最后，真正有益的学术体系应当鼓励学者进行探索性研究，而不是一直进行“完美研究”。
对未来的投资：将更多研究和数据向公共开放是开放科学的核心，能增加学界的交流协作和进步的机会，也提高了科研成果的利用率，这在本质上是对未来的投资，方便后人更轻松地站在前人的肩膀上。

虽然这些话有一定道理，但结合他们不太严谨的调研方式，荷兰埃因霍温科技大学的心理学研究员Anne Scheel还是提出了异议。他认为这项研究只选取了113篇论文，样本实在太少，无法体现“预先登记”论文中“消极成果”的真实占比。

一些数据表明，就心理学而言，学者在研究期间提出的超过90%的假设最后都会被实验证伪，而且这些错误假设大多不会出现在最后的论文中。所以报告中用作衡量标尺的“消极成果”占比其实不科学，它并不一定代表学者作假，还可能是为了提取重点。

此外，调研人也承认，“预先登记”制度并不适合数据驱动型研究，比如机器学习，因为这类研究需要太多探索性尝试，再加上领域的蓬勃发展、涉及隐私数据使用，任何期刊都负担不起所需的评审、监督资源。这项制度也不适合复杂实验，因为事先很难预测所有可能的结果。

总而言之，“预先登记”制度回归了一个总被人忽略的事实：科学研究中更多的是失败。它所体现的“留下前人经验，让后人少走弯路”的理念也很吸引人，这些都是学者们支持它的原因。但偏见始终是无处不在的，即便“预先登记”将来能够推广，期刊的“出版偏见”仍会在同行评审中继续作祟——毕竟求胜是人的天性。