CVPR和ICLR双榜公布，最离谱审稿人竟然没读论文！

会员服务 ·

CVPR和ICLR双榜公布，最离谱审稿人竟然没读论文！

2022 年 1 月 29 日 新智元

新智元报道

编辑：好困 LRS

【新智元导读】随着顶会论文越收越多，审稿人手又不够，所以分配到的审稿人也是良莠不齐。最近CVPR 2022论文陆续放榜，不过审稿意见的质量似乎和中稿结果有非常强的相关性。

1月25日，CVPR 2022的审稿结果已经开始陆续放出。

截至北京时间1月25日早上5点，共有6427位审稿人给出了25801个评审意见，包括2104位紧急审稿人的3066个紧急评审意见。

官方表示，rebuttal已经可以在CMT上提交，截止日期为北京时间2月1日下午3:59。

而ICLR这边则已经放出最终的结果，其中，有54篇论文中了Oral，176篇Spotlight，865篇Poster。

「吐槽大会」又来了！

作为知乎上的一项全面运动，机器学习顶会评审一出，必然会引发热烈的讨论。

对此，网友@Lunarnai表示可以简单概括为5种类型：

不过，这其实还不够全面，回复里还有各种来「吸欧气」的。（手动狗头）

说到审稿，这届顶会从AAAI 2022开始就可谓是一言难尽。

第一个审稿人说论文中实验不全，缺少标准baseline，但实际上这是个外行审稿人，并不了解该领域的具体研究方法。并且论文中已经提交了开源代码，审稿人却仍然要求上传代码和数据。

第二个审稿人更离谱，一路good和excellent下来，最后还是给拒绝掉了。写的很好，下次不要再写了？

拒绝的理由也很奇葩，实验很充足，结果也很好，但是实验结果的解释不够。审稿人提出的唯一问题竟然是问论文中提到的模型结构是什么。

经历分享出去也是引起广泛的共鸣，「熟悉的盲人审稿」，「不该投AAAI」等等。

虽然被拒稿并不是一件丢人的事，但审稿人的意见毫无价值，根本没有帮助作者改进论文质量。

而CVPR 2022差不多可以理解为经典的「活动复刻」。

网友表示，有些审稿人在写意见之前都不读论文的吗？

不仅评审意见讲不通，写的英文还有好几处错误，最后非常自信地打了个5。

另一位审稿人也表示，自己收到的意见只有一个是心服口服的，其他的也是难以言喻：

明明放了匿名代码链接说没代码的
说没比较的关键实验就是我用的baseline
有一个审稿人问的问题全在补充文件而且多次在正文里强调了
说加的一个新的backbone实验和之前的一个方法对比不公平，事实上之所以加这个backbone就是因为他提到的方法加了这个backbone，看来平时看文献也不仔细
有部分审稿意见，就是审稿人懒得审稿，写一句话所有文章都能用

是不是感觉这段很眼熟？

国外的网友也深表同感：「这届审稿人是我遇到过最差的。显然，他们对评审的主题一无所知，而且还在评论中出现了非常尴尬的混淆。」

不过，分低至少还能用rebuttal救一救，就怕这位评审大人大手一挥strong reject，但又没告诉你为啥。

网友@磊哥玩枪吐槽说，我这个评审，评论就一句话，然后给了个5，你告诉我怎么rebuttal？

但到底还是有心态好的。

一位网友表示：「3444，赢! 但又没完全赢，但是赢了。其他人认为我没赢，但也没输。但是我觉得我赢了，不过也没有完全赢。」

ICLR，尘埃落定

另一边ICLR 2022的录用结果也是「几家欢喜几家愁」。

本届ICLR 2022会议共收到了3325篇有效投稿，投稿的平均分为4.93（+- 1.15），作为对比，ICLR 2021 rebuttal后的平均分为5.37（ +- 0.96）。

数据显示，31篇投稿的平均分为8分，39篇投稿得到最高分10分，没有1篇投稿得到两个以上的10分。

对于中稿的人来说，论文的价值得到了同行的认可，绝对是一件值得庆祝的事。

加州大学伯克利分校EECS博士生Dhruv Shah的论文被接收后表示，「ICLR的rebuttal过程依然是最有成效和高效的审阅周期，并且作为论文作者和审稿人共同提升投稿论文质量非常令人满意」。

MIT CSAIL的博士后研究员和ETH博士Octavian Ganea、DeepMind的研究科学家Petar Velickovic各自都有两篇论文被ICLR 2022接收，主题涉及蛋白质对接、材料和图表示学习的进展。

他们都表示，「ICLR不愧是我最喜欢的会议，继续看好ICLR」！

但对于没中稿的人来说，也不要灰心，当下审稿机制也要背一部分锅。

网友@Domates93表示，「我们的论文被拒，给出的理由没有讨论一篇相关论文，但我们确实讨论了。可笑的是，这篇相关论文是我们论文的主要baseline。」

有人建议写信给PC，但曾有过相同经历的「不幸者」认为这样做没用，PC只会对审稿人的决定表示遗憾。

网友@pastimenang的被拒理由是「过于高估了 ICLR 参与者对偏微分方程（PDE）解的数值方法的理解」。

最离谱的是网友@Stochastic_Machine，他表示，「审稿人甚至没有读我的论文。他的评审意见是基于我提交至另一会议的旧版本论文，给出了非常低的分。」

CVPR，从交稿就开始「渡劫」

2021年11月16号，CVPR官方推特提醒：「CVPR 2022论文提交截止日期为2021年11月16日，就是今天（太平洋时间晚上11:59，北京时间11月17号下午15:59）」。

祝大家好运！

然而没想到的是，CVPR官方论文的提交网站的运气可不怎么好。

在即将截止前的1个小时，突然404了。

11月17号下午六点，CVPR官方消息终于放出。

「由于CMT的问题，CVPR 2022论文提交截止日期已延长至2021年11月18日太平洋标准时间上午11:59（原始消息称太平洋夏令时，实际上应为太平洋标准时间)。这一消息也将通过CMT与作者交流」。

11月18号凌晨，CVPR官方确认论文已经可以开始提交：「由于MicrosoftCMT网站在CVPR 2022截止日期前的最后一个小时关闭，我们的项目主席决定将论文提交截止日期延长至太平洋标准时间2021年11月18日上午11:59（北京时间11月19号凌晨3:59）。CMT提交网站正在备份和接受提交」。