IJCAI 2019奇葩评审遭吐槽，程序主席发公开信回应

会员服务 ·

IJCAI 2019奇葩评审遭吐槽，程序主席发公开信回应

2019 年 5 月 13 日 新智元

新智元原创

来源：知乎、IJCAI 2019

编辑：金磊、肖琴、大明

【新智元导读】最近，IJCAI 2019可谓是火了一把，直接原因并不是放榜论文录取结果，而是评审、打分、rebuttal等环节出现了严重甚至是可笑的“错误”，被拒稿的研究人员通过各种途径在网络上描述亲身经历，可谓是怨声载道。程序主席Sarit Kraus发表公开信，正式做出回应。

IJCAI录取结果被吐槽太厉害，主席都出来放话了。

前几日，国际顶会IJCAI 2019放榜论文录取结果：共接收4752篇，录取率仅为17.9%。相比去年的IJCAI 2018来说，接收论文数量增加了约37%，但是会录取率却反倒降低。

虽然录取率的降低，会彰显大会的严格或者提高大会的难度，但这次，可能是适得其反了。网友们已经在网络中已然是怨声载道！

微博用户评论

让我们来看一下几款较为经典的拒稿bug。

网友晒经历：评审回复、打分、rebuttal，看了都想笑

审稿不专业，学生审稿，review意见寥寥几句

有知乎匿名用户表示：

中国人太多，审稿人大部分是学生，很多老师连自己要发表的论文都不会看，更别说看别人的论文了。Rebuttal一般也是从高分改低分，翻盘的可能性不大。

不过能够中的论文，水平一定不差。

微软亚洲研究院实习生，知乎ID：“张旭”表示：审稿人不熟悉所在领域，大量刚刚入门的学生参与评审并给出意见，无论从能力和态度上都没有体现出对原作者的尊重，如果审稿人对论文的领域不熟悉，不应该硬着头皮强行给出审稿意见。

另一位匿名用户表示：

打分看心情？

斯坦福大学计算机博士后王鸿伟在知乎上分享了他在本届IJCAI中的遭遇。

暂不提评审回复的大bug，光是评分就已经让其哭笑不得了：“哪位神仙reviewer给评的分啊？感谢你对我之前工作的关注啊。”

无独有偶，当然还有更加神奇的操作。

rebuttal就是个摆设，关系户满天飞

有知乎用户吐槽：“审稿人审到自己的 paper。会议主席不组织复查。听到各种审稿内幕，头大。”

来看一下这位少年rebuttal的心路历程。

两个#25开头的reviewer一直到rebuttal结束都没有给出审稿意见；
diss作者数据集来源不清，于是rebuttal：“我们的数据不是随机生成的，正如http://xx.xxx章节第n行已经提到的......”；
diss作者k-means的计算过程没有写，于是rebuttal：“原文yy.yyy章节第m行引用了原文，并在第zz.zzz章节第k行给出了计算中心点公式”，并且作者表示，如此经典的方法竟然需要做那么详细的介绍，震惊！

但无论如何rebuttal，结果还是摆脱不了被拒绝的命运。但是这几个评审回复开起来是那么的可笑，即便给出了合情合理的rebuttal，依旧起不到什么作用。

如此看来，rebuttal=no rebutal了。

不过也有投稿者对评审表示肯定，知乎用户“李冠岳”说：

对于大家吐槽的 review 有多不专业，我们的 review 都特别负责。review们的意见都非常有建设性，特别是那个 3 分的review，因为这个反馈，我们对我们后续的工作也有了更加清晰的认识了。今年接近 5000 篇接收 850 篇，17% 左右的接受率，我认为这个会议还是不会太水。当然我也期待能看到所有的 accepted papers 后再做出一个跟公正的判断。

他的论文被IJCAI 2019接收了，meta-review 给的分数是6分，其他三个review 的分数是 3 分、7 分、7 分。

民意汹涌，IJCAI程序主席发公开信回应

凡此种种，让被拒稿的作者们群情激愤，他们纷纷致信大会程序主席Sarit Kraus表达自己的不满。审稿结果公布后，本想放松一下的她忽然发现麻烦并没有结束，可能才刚刚开始。

上周五，Sarit Kraus发表一封公开信回应此次IJCAI风波。她在信中承认由于论文数量太多，审稿人数量不足，时间也颇为紧迫，她只能在现有条件下尽力把控审稿流程。对于作者们反映的审稿过程瑕疵、公平性不足、随机性太强等问题表示理解。

关于未来解决这一问题，她提出应该进一步重视期刊，把期刊建设好，学术会议作为对学者是否升职、是否获得研究经费的评估标准已经不太适合了。最后她号召大家进一步集思广益，有什么新想法都可以提。

IJCAI 2019 程序主席Sarit Kraus

以下是公开信原文：

当我周五发出通知消息时, 我很高兴终于结束了长达6个月多的IJCAI审稿流程。另一方面,我也感到很难过, 因为我的意见，850篇获得接受意见的论文作者们非常高兴, 但也让3902篇被拒稿的论文作者感到非常不安和恼火。

虽然我本人有很多论文被一些备受关注的学术会议接收, 但我收到的拒稿信比你们大多数人都要多。因此, 你们对审稿过程、公平性、随机性太强的任何质疑, 我这些年来其实都感同身受。我要感谢没有给我发投诉邮件的所有作者, 我会对少数向我发送投诉信的作者留言进行回复。尽管乍一看这可能不会改变已经做出的决定。

此次审稿中，我已在尽力降低评议过程的随机性，减少每位 PC 和 SPC 收到的论文数量, 增加审稿时间,并尽力招募优秀的 acsmscc/pc 和其他审稿人员。他们几乎都做得很不错, 对此我非常感谢。然而, 面对向本次大会总共提交的4752篇论文, 审稿任务是极其困难的。我认为, 我们需要对经严格审稿的学术会议的概念进行重新思考和创新。

我坚信, IJCAI会议是听取新想法、与其他研究人员见面和讨论研究的活动。我的最优秀的项目是最初都是在学术会议上发表的。我认为目前学术会议的形式已经不再适合用来对学者的研究资助和职位晋升进行评估。我们可以考虑把期刊建设得更好。

目前, 本会议有一条期刊通道——如果一篇文章曾在AIJ 或 JAIR期刊上发表，而且之前未在其他地方发表过，即可在IJCAI上发表。未来我们可以进一步限制每个人允许提交给 IJCAI 的论文数量, 或者你们有任何其他新想法，我们都会考虑。

总之, 我希望你们大家都能来参加 IJCAI, 不管你们的论文是否被接受。大家仍然可以向 IJCAI workshops环节提交论文, 或者只是来见见朋友, 听听有趣而刺激的讲座也好。

此致

Sarit Kraus

IJCAI 2019 程序主席

周志华：审稿质量控制出问题，可以借鉴AAAI 2019

本届IJCAI审稿如此多问题，也引起了许多AI领域专家的关注。

清华大学副教授、博士生导师刘知远老师也参与了知乎上的讨论，认为“感觉今年IJCAI 2019审稿质量控制出了一些问题……有些领域应该没有很好地完成discussion阶段的工作。”

南京大学人工智能学院院长、AAAI 2019程序委员会主席周志华教授也发表了意见，他表示：“投稿量到好几千之后，质量控制就变得极为困难，对主席是巨大的考验。看起来今年AAAI的一些做法或许是值得IJCAI借鉴的。”

周志华教授也将担任 IJCAI 2021 的程序委员会主席。

实际上，AI顶会论文评审的专业性问题绝不是仅在IJCAI 2019爆发的。随着AI越来越火，学术顶会投稿量激增，而相应的合格的审稿人数量并没有激增，审稿质量控制已经成了一大难题。

近3年AAAI和IJCAI会议的投稿量和录取比率

今年1月举行的AAAI 2019也被质疑审稿人不专业。

AAAI 2019接收投稿达7095篇之多，录取率只有16.2%，审稿质量控制问题显然更难。

甚至有投稿人实名致信AAAI 2019程序主席周志华教授，表达自己论文由于“审稿人不专业”而被拒稿的“遗憾与气愤”。

当时，自称国内知名高校计算机博导的“李老师”称，在评审人对论文的审稿及处理意见上，评审及录用决策存在公正与公平性问题，李老师 “感到非常遗憾与气愤！觉得太有失公正公平与水准。”

当时，新智元第一时间联系了周志华教授，周志华教授当夜凌晨便给李老师回信，并告诉新智元，“这里面确实涉及到一些关于人工智能领域投稿的审稿观念问题，但绝对没有’黑幕’”。

周志华教授强调，“今年的 AAAI，我们已经特别加强了对传说中的一些不良现象的防范。例如，不再允许审稿人看到全部投稿之后来挑选自己愿意的文章，而只是给 150 篇左右文章供选择。甚至 SPC 也不让他们看到所有文章，只是给 300 篇左右文章供选择。并且 PC 互相看不到身份，也看不到 SPC 的身份。这样大幅度降低了 “找熟人”“打招呼” 的可能。”

周志华教授在回信中说：