ICLR论文作者最后的绝望：DDL最后一小时，评审让提交一份实验

作者 | 蒋宝尚

编辑 | 青暮

11月11日凌晨，ICLR 2021初审结果在官网公布之后，就正式进入了Rebuttal阶段。根据往年数据分析，如果论文接收率为20％，那么论文平均分数要达到6分以上才能被接收。  

因此，许多投稿作者非常珍惜Rebuttal的机会， 因为有不少“低分”作者成功靠着Rebuttal完成反杀。

在Rebuttal阶段想要反杀必须满足两个因素： 1.文字态度良好；2.有理有据。 态度好意味着，尽量接受评审的修改意见，有理有据意味着，论文所讲述的“故事"有足够的逻辑。

但是，今日一位作者接到了让他无比头疼的修改意见：重新进行实验。如果时间充足，想必这个要求也没什么，但是这时只离Rebuttal结束只有1个小时了。也就是说， 如果作者在一个小时之内，完不成新实验，那么他这次的ICLR 2021之旅基本上就凉了。

作者特别苦恼，在reddit上将整个过程讲述了下来，并表示：ICLR真是烂，以后再也不给它投稿了。

我们有篇论文的研究在几个基准上实现了SOTA，我们向ICLR提交了这篇论文。之后，就收到了4个评审意见，大部分意见要求进行消融研究，以及关于超参数设置的细节询问。这些意见非常正常，一点毛病都没有，真正有趣的事情发生在Rebuttal阶段：

1.有一位审稿人坚持认为我们引用了前一篇论文的错误实验结果，因此，表示论文中的比较是不公平的。如果审稿人相信我们，他完全可以查看前一篇论文的结果和设置，如果仔细点，这位审稿人就会发现，我们引用的数字和那篇论文中有的完全一样。也即并没有引用错误实验。

随后，我们用“前一篇”论文的原话回复了评审，评审给出的回复仍然是：“不公平的比较”。显然，评审忽略了前一篇论文的结果。

2.另一位评审要求我们进行消融实验，并和不使用A技术基线进行比较。我们照做了。此外，我们还增加了10个变体的消融研究。然而，在Rebuttal阶段结束的前一个小时，这位审稿人又提出了新的要求：做一次基线 + A - B比较，理由是：我们附加的消融研究涵盖了去除技术B的情况。

通常来说，做一个消融实验往往需要一天的时间，审稿人或许也知道1个小时是不可能完成实验的。所以，我认为这只是他拒绝我们论文的借口。退一步看，即使我们完成了实验，这位审稿人可能还要我们进行2^10个变体实验，然后让我们继续比较。这有什么意义呢？

我非常生气，我参加过许多AI/ML Confs、ICML、NeurIPS等会议，这次的ICLR是最糟糕的一次。虽然，我也明白当前AI顶会大多数评审的情况，但是4个评委里有两个能提出这样的求......

ICLR不值得，我以后不会再往这个会议中投递论文了，大家也把好的研究投递到真正“值得”的顶会吧。

1

另一个“Rebuttal”现场：reddit

这篇小故事，在Reddit引起了热议，有给这位作者支招的，也有分析评审意见的。

例如一位网友称：

赶快给领域主席发邮件！越快越好！

作者回复：

我们已经反馈了，我明白领域主席非常忙，毕竟现在他们有非常多的意见要看。

另一位网友附和：

没用的，主席站在评审那边。

还有网友称，作者可能误会评审的意见了，或者评审没有清晰的表达自己的意思。另外，评审确实比较忙，他们需要在ICLR上审核其他几篇论文，还有全职工作要做，可能回复不会很及时。再者，SOTA在科学上也不是一个有趣的结果。实际上，你必须发现一些有趣的、可概括的、有影响力的东西，才能让你的论文值得发表。

听话听音，这位网友大概率是评审、或者当过评审。

作者回复：

1.自五天前的第二次答复之外，我们再也没收到评审的答复。

2.完全同意SOTA不够有趣的观点，但我们的论文提出了一种从来没有研究过的新方法啊！再者，评估所用的基准是这个问题最常用的基准。

还有网友表示：

ICLR并不是头一次这么干，你并不孤单。

作者回复：

上线事实核查或反驳进度跟踪工具非常有必要。

这篇帖子下的最后一个评论说道：

我的审稿人在截止日期前5小时给了我回复，并给出了一个不正确的反例，贬低了我论文中推导和证明。我早料到他/她会这样做，所以能给他/她一个详细的回复，“论证”他/她的胡说八道。另外，我还在考虑给领域主席们发邮件，告发他们这种行为。

2

吐槽大会

本次ICLR 2021一共有3013篇论文提交，其中有856篇论文是来自NeurIPS 2020 Rejection 之后重新提交的。

回忆去年ICLR 2020的审稿，可谓是吐槽与争议不断。

比如，一篇ICLR 2020的论文在拿到满分评价后，其他的两位审稿人又连续给了2个1分评价，还有的论文三位审稿人均给出了6-6-6的高分，但区域主席却做出了不适用自己论文的评语。

另外在去年的时候，南京大学周志华教授曾曝出：ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文。

后来周教授又指出：开放评审进当参与者都是相当level的专家才有效，否则更容易被误导。学术判断不能“讲平等”，一般从业者与高水平专家的见识和判断力不可同日而语，顶会能“顶”正是因为有高水平专家把关，但现在已不可能了......

参考链接：

https://www.reddit.com/r/MachineLearning/comments/k0up7e/d_awful_iclr2021_experience_asking_authors_to_do/

---

“CCF-NLP走进高校”是由中国计算机学会自然语言处理专业委员会（CCF-NLP）发起，联合AI研习社及各个知名高校开展的一系列高校NLP研究分享活动。

“CCF-NLP走进高校”第四期将走进“新疆大学”，一起聆听新疆大学NLP的前沿研究分享。本次活动邀请的嘉宾有哈尔滨工业大学（深圳）教授徐睿峰、清华大学计算机系长聘副教授黄民烈、天津大学教授熊德意、复旦大学教授黄萱菁、新疆大学教授汪烈军、西湖大学特聘研究员张岳。敬请期待！

点击阅读原文，直达直播页面