学术审稿潜规则被Science曝光:作者名气越大,审稿人打分越高

2022 年 9 月 17 日 量子位
羿阁 发自 凹非寺
量子位 | 公众号 QbitAI

Science最新发文:当论文的作者名气大时审稿人会给予更高的分数

而且这一分数差距还不小。

这一结论来自一个号称“同类研究中最大规模”的随机对照试验,整个过程邀请了3300名研究人员参加。

试验结果可以说揭露了学术界的“潜规则”:

当一篇论文的唯一作者不为人知时,只有10%的审稿人建议接收这篇论文,但当同一篇论文的署名者是诺贝尔奖得主时,59%的审稿人表示赞同。

对于这一差距悬殊的数据,斯坦福大学博士后研究员、《研究诚信与同行评议》主编Mario Malicki直呼“令人难以置信”。

话不多说,让我们赶紧来看看研究人员是怎么得出这一结论的。

学术界的马太效应

其实多年来,学术界对于“马太效应”的抱怨一直存在。

马太效应,是指一种强者愈强、弱者愈弱的现象,引申到学术界来,就是地位高的研究人员往往能不成比例地获得更多研究成果。

相较于以前都是“口说无凭”,这次研究人员用一个精心设计的试验给出了确凿的证据。

来自奥地利因斯布鲁克大学Jürgen Huber领导的研究团队,向大约3300名研究人员发了一封电子邮件,询问他们是否愿意审查一份为期刊准备的经济学研究成果。

这项研究有两位作者,都来自美国查普曼大学:

一位是2002年诺贝尔经济学奖得主Vernon Smith,去年他在Google Scholar上被引用超过5.4万次;另一位则是Smith以前的博士生Sabiou Inoua,去年被引用次数只有42。

为了实验效果,3000多位潜在的同行审稿人被分成3批,分别被告知了不同的作者信息:

第一,只点名Smith,把他列为通讯作者;第二,只有Inoua;第三,没有作者。

该团队近日在芝加哥举行的国际同行评议和科学出版物大会上报告说,最终有821名研究人员同意进行评审。

从结果上看,Smith的“诺奖得主光环”似乎影响了人们的反应。

在只得到他名字的研究人员中,38.5%的人接受了评审邀请;在没有收到作者名字的人员中,这一比例为30.7%;而只有Inoua的版本接受比例最低,仅为28.5%。

不仅如此,为了避免出现偏见,研究小组还进行了下一步研究。

他们将重点放在313名最初没有收到作者姓名的自愿审稿人身上,并随机分配给他们3份手稿中的一份进行审稿:

其中一份只列出Smith,另一份仅列出Inoua,第三份没有作者。

该团队还告知评审者,他们的评估将是一项试验的一部分,该试验涉及多个受邀同行评审,而不是通常的两到三个(但是没有透露研究设计)

与上一轮结果相同,Smith的手稿赢得了审稿人的最高评价,他们称赞其包含了新的信息和有数据支持的结论。

与此对应的是,在没有作者的版本中,只有24%的人建议接收该版本(有直接或轻微修改),而这一比例在Inoua一个人版本的中还要再少一倍。

网友评论

面对这一差距悬殊的数据,有网友却表示并不意外:

我一直是这么认为的,但有确凿的证据还是发人深省的。

有人还把这一现象形象的比喻为“大明星也可能演烂片、不知名演员也可能有突破性表演”,并呼吁改变这种看法:

因斯布鲁克大学的行为经济学家Christian Konig Kersting也表达了对这一结果的担忧:

同样的工作不应该因作者不同而受到不同的评价,因为这会让年轻和不知名的研究人员很难在学术过程中迈出第一步。

为了解决这一问题,有网友提议是时候开始实行双盲审机制了。

双盲审,即作者和评审者互相都不知道身份,一般被认为比普通的盲审更加客观公正。

但对于这个提议,Konig Kersting却表示,这种策略可能不起作用,因为审稿人通常可以从预印本或会议报告中识别作者。

话说回来,对于这种学术界“潜规则”,你怎么看?

参考链接:
[1]
https://www.science.org/content/article/reviewers-award-higher-marks-when-paper-s-author-famous
[2]https://www.science.org/doi/10.1126/science.159.3810.56

「人工智能」、「智能汽车」微信社群邀你加入!

欢迎关注人工智能、智能汽车的小伙伴们加入我们,与AI从业者交流、切磋,不错过最新行业发展&技术进展。

PS. 加好友请务必备注您的姓名-公司-职位哦 ~


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~



登录查看更多
0

相关内容

AAAI 2022接收论文列表发布,1349篇论文都在这了!
专知会员服务
144+阅读 · 2022年1月11日
ICLR 2022 评审出炉!来看看得分最高8份的31篇论文是什么!
ICCV2021接受论文!
专知会员服务
26+阅读 · 2021年7月23日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
专知会员服务
142+阅读 · 2020年6月15日
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
AAAI走后门?
图与推荐
0+阅读 · 2022年10月27日
已删除
极市平台
4+阅读 · 2021年12月14日
国家自然科学基金
0+阅读 · 2015年8月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年3月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年11月23日
Arxiv
12+阅读 · 2020年6月20日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
99+阅读 · 2020年3月4日
Arxiv
10+阅读 · 2018年4月19日
VIP会员
相关VIP内容
AAAI 2022接收论文列表发布,1349篇论文都在这了!
专知会员服务
144+阅读 · 2022年1月11日
ICLR 2022 评审出炉!来看看得分最高8份的31篇论文是什么!
ICCV2021接受论文!
专知会员服务
26+阅读 · 2021年7月23日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
专知会员服务
142+阅读 · 2020年6月15日
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
相关基金
国家自然科学基金
0+阅读 · 2015年8月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年3月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
相关论文
Arxiv
0+阅读 · 2022年11月23日
Arxiv
12+阅读 · 2020年6月20日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
99+阅读 · 2020年3月4日
Arxiv
10+阅读 · 2018年4月19日
Top
微信扫码咨询专知VIP会员