辛酸！ICLR Rebuttal结束，有72%的论文分数丝毫未变

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AI科技评论

注：文末附ICLR 2021开奖群

作者 | 陈大鑫

11月11日凌晨，ICLR 2021初审结果在官网公布之后，就正式进入了Rebuttal阶段。

而在昨日，ICLR 2021 Rebuttal阶段正式告一段落，论文作者本人已不能再提交Rebuttal，当然，论文评审和领域主席还是可以根据论文评审情况再做分数修改。

在昨日ICLR 2021 Rebuttal结束（对论文作者而言）之后，还是辣个男人，Criteo AI Lab机器学习研究科学家Sergey Ivanov，他又一次写了个爬虫程序统计出了ICLR 2021所有论文目前阶段的评分数据。

经过统计，有超过72%（1936篇）的论文评审分数没有任何变化！

1

论文得分变化看点

据数据统计显示，Rebuttal结束之后，论文评审得分数据变化有以下看点：

1、一共有306篇论文选择了撤稿，原有的2976篇论文现在还剩2670篇。

2、所有论文的平均分从原先的5.16升到了5.37，也即是平均分提高了0.21。

（注：一篇论文大都是有四位评审，如果论文评审得分分别为5、6、7、8，则该篇论文的平均分为6.5）

3、Rebuttal阶段一共产生了10305条评论，其中只有1797条评论改变了分数。

4、有16篇论文在Rebuttal阶段得到了额外的评论。

5、单篇论文最高得分从7、8、9、9变成9、8、9、9，太牛了！

这篇论文的标题是：《How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks》。

下图是Rebuttal阶段单篇论文的平均分分值变化情况：

可以看出，有超过1900篇论 文的得分变化是小于+0.25的，把这个数字乘以4（按照一篇论文大多数由四个评审分数来计算），那就意味着这 1900多篇论文的分数变化都小于1。

2

Rebuttal不易，也要坚持

上面说到1900多篇论文的分数变化都小于+1，那具体情况如何？

Sergey Ivanov随后又统计出：

1、有超过72%（1936篇）的论文评审分数没有任何变化！ （在2669篇有效提交的论文中）。

2、有610篇论文仅有1个分数改变。

3、有104篇论文有两个分数改变。

4、仅有18篇论文有3个分数改变。

5、有一篇论文做到了让4个评审分数都为之改变！（分数从5566-->6677），这意味着每个评审都为之增加了一分，这篇论文应该是从被拒的边缘拯救回来了，不出意外，论文最后应该会被接收。

论文地址：https://t.co/NyUNtp8WNg?amp=1

以下是论文初审时论文得分分布直方图，可以看出单篇平均得分在5~6分之间的论文最多。

如下面几张图所示，平均论文得分TOP 100的论文达到了6.75（满分是10分） ：

下图是目前阶段（Rebuttal结束后）的论文得分分布直方图，可以看出同样是单篇平均得分在5~6分之间的论文最多，有超过1290篇，接近50%。

Rebuttal小成功

如下面几张图所示，7分以上的论文有153篇，而对比之下论文初审得分在7分以上的有95篇， 这意味着Rebuttal之后多出了58篇7分以上的论文。

Rebuttal小挫折

从上面两图可以看出，虽然Rebuttal之后多出了58篇7分以上的论文，然鹅Rebuttal阶段论文得分的整体统计数据变化基本不大。

Rebuttal大挫折

在昨天，AI科技评论的报道中，一位作者接到了让他无比头疼的修改意见：重新进行实验。如果时间充足，想必这个要求也没什么，但是这时只离Rebuttal结束只有1个小时了。也就是说，如果作者在一个小时之内，完不成新实验，那么他这次的ICLR 2021之旅基本上就凉了。

作者特别苦恼，在reddit上将整个过程讲述了下来，并表示：ICLR真是烂，以后再也不给它投稿了：

我们有篇论文的研究在几个基准上实现了SOTA，我们向ICLR提交了这篇论文。之后，就收到了4个评审意见，大部分意见要求进行消融研究，以及关于超参数设置的细节询问。这些意见非常正常，一点毛病都没有，真正有趣的事情发生在Rebuttal阶段：

1.有一位审稿人坚持认为我们引用了前一篇论文的错误实验结果，因此，表示论文中的比较是不公平的。如果审稿人相信我们，他完全可以查看前一篇论文的结果和设置，如果仔细点，这位审稿人就会发现，我们引用的数字和那篇论文中有的完全一样。也即并没有引用错误实验。

随后，我们用“前一篇”论文的原话回复了评审，评审给出的回复仍然是：“不公平的比较”。显然，评审忽略了前一篇论文的结果。

2.另一位评审要求我们进行消融实验，并和不使用A技术Baseline进行比较。我们照做了。此外，我们还增加了10个变体的消融研究。然而，在Rebuttal阶段结束的前一个小时，这位审稿人又提出了新的要求：做一次基线 + A - B比较，理由是：我们附加的消融研究涵盖了去除技术B的情况。

通常来说，做一个消融实验往往需要一天的时间，审稿人或许也知道1个小时是不可能完成实验的。所以，我认为这只是他拒绝我们论文的借口。退一步看，即使我们完成了实验，这位审稿人可能还要我们进行2^10个变体实验，然后让我们继续比较。这有什么意义呢？

我非常生气，我参加过许多AI/ML Confs、ICML、NeurIPS等会议，这次的ICLR是最糟糕的一次。虽然，我也明白当前AI顶会大多数评审的情况，但是4个评委里有两个能提出这样的求......

ICLR不值得，我以后不会再往这个会议中投递论文了，大家也把好的研究投递到真正“值得”的顶会吧。

更多内容请移步ICLR论文作者最后的绝望：DDL最后一小时，评审让提交一份实验一文。

所以说，Rebuttal真的不易，且行且坚持。

3

如何进行Rebuttal

什么样的Rebuttal回复会让评审心服口服，针对不同的意见和不同的评审应该有不同的战术打法。 但总体上的核心原则是：Rebuttal到底！

Rebuttal的对象大概有两种， 第一种是审稿人 ，他读过你的论文，但可能忘记了细节，或者一开始就没有理解你的论文。 第二种是AC（领域主席） ，这类对象可能对你的论文更加的不熟悉，他们读到的可能只是一系列的评论和反驳。  

所以，你写Rebuttal的主题应该是： 澄清和说服。 对于评审来说，需要澄清疑问，回答问题，纠正误解，真诚的吸收反馈，改进你的工作。

对于AC来说，说服他们相信你已经做出了真诚的努力，并提交具有代表性的评审意见，帮助他们了解审稿人的顾虑是否得到解决。

根据一些经验，当前AI顶会领域作者的通病是：只关注审稿人，而忽略了AC。

其实，整个Rebuttal的过程应该看做一场辩论赛，虽然审稿人并不是“对手”，但应该当做“对手”来对待，而AC则可以赋予裁判的角色。所以，这时候“Rebuttal”的战术打法和辩论赛相同： 说服裁判相信你的论点远比让对手改变想法更重要。

下面给予一些具体的建议，建议的核心在于尽可能的让“裁判”和“对手”都满意。

收集评审意见的电子表格样例

1、逐条列出审稿人的评审意见。 用一个电子表格将每个审稿人的评论、问题、关注点组织起来。这种将所有东西都放在同一个位置的做法可以防止遗漏重点，也能够及时确定是否要新增实验。

2、脑补可能的回复 。建立电子表格的时候单独留出一个栏目写你认为审稿人的可能回复。写的时候大胆一些，不需要考虑文体和篇幅，但要有说服力。

3、写一份 rebuttal 草稿。 草稿不用考虑篇幅，在简明扼要的同时，覆盖每一个要点，并对要点进行优先性排序。

4、评审和修订。 重新阅读最初的评审意见和电子表格，并确保所有内容都得到解决。

示例如上

最后需要说明的是，论文最后的接收情况由领域主席拍板决定，就算论文平均得分小于6分也没事，一是要看你的论文在其对应的领域得分及排名，二是要看领域主席觉得你的论文是否有他觉得很Nice的亮点，如果某个点恰巧打动了领域主席，则论文被捞的可能性还是不小的。

ICLR 2021 开奖群

仅限已投稿ICLR 2021的人进入，否则踢出群！

下载：CVPR /  ECCV 2020开源代码

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2400+人，旨在交流顶会（CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI、中文核心等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer点赞和在看！