CVPR和ICLR双榜公布！最离谱审稿人竟然没读论文！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

转载自：新智元 |  编辑：好困 LRS

【导读】随着顶会论文越收越多，审稿人手又不够，所以分配到的审稿人也是良莠不齐。最近CVPR 2022论文陆续放榜，不过审稿意见的质量似乎和中稿结果有非常强的相关性。

1月25日，CVPR 2022的审稿结果已经开始陆续放出。

 

截至北京时间1月25日早上5点，共有6427位审稿人给出了25801个评审意见，包括2104位紧急审稿人的3066个紧急评审意见。

 

 

官方表示，rebuttal已经可以在CMT上提交，截止日期为北京时间2月1日下午3:59。

而ICLR这边则已经放出最终的结果，其中，有54篇论文中了Oral，176篇Spotlight，865篇Poster。

「吐槽大会」又来了！

作为知乎上的一项全面运动，机器学习顶会评审一出，必然会引发热烈的讨论。

 

 

对此，网友@Lunarnai表示可以简单概括为5种类型：

 

 

不过，这其实还不够全面，回复里还有各种来「吸欧气」的。（手动狗头）

 

说到审稿，这届顶会从AAAI 2022开始就可谓是一言难尽。

 

第一个审稿人说论文中实验不全，缺少标准baseline，但实际上这是个外行审稿人，并不了解该领域的具体研究方法。并且论文中已经提交了开源代码，审稿人却仍然要求上传代码和数据。

 

第二个审稿人更离谱，一路good和excellent下来，最后还是给拒绝掉了。写的很好，下次不要再写了？

 

拒绝的理由也很奇葩，实验很充足，结果也很好，但是实验结果的解释不够。审稿人提出的唯一问题竟然是问论文中提到的模型结构是什么。

 

 

经历分享出去也是引起广泛的共鸣，「熟悉的盲人审稿」，「不该投AAAI」等等。

 

虽然被拒稿并不是一件丢人的事，但审稿人的意见毫无价值，根本没有帮助作者改进论文质量。

 

而CVPR 2022差不多可以理解为经典的「活动复刻」。

 

网友表示，有些审稿人在写意见之前都不读论文的吗？

 

不仅评审意见讲不通，写的英文还有好几处错误，最后非常自信地打了个5。

 

另一位审稿人也表示，自己收到的意见只有一个是心服口服的，其他的也是难以言喻：

 

• 明明放了匿名代码链接说没代码的
• 说没比较的关键实验就是我用的baseline
• 有一个审稿人问的问题全在补充文件而且多次在正文里强调了
• 说加的一个新的backbone实验和之前的一个方法对比不公平，事实上之所以加这个backbone就是因为他提到的方法加了这个backbone，看来平时看文献也不仔细
• 有部分审稿意见，就是审稿人懒得审稿，写一句话所有文章都能用

 

是不是感觉这段很眼熟？

 

国外的网友也深表同感：「这届审稿人是我遇到过最差的。显然，他们对评审的主题一无所知，而且还在评论中出现了非常尴尬的混淆。」

 

 

不过，分低至少还能用rebuttal救一救，就怕这位评审大人大手一挥strong reject，但又没告诉你为啥。

 

网友@磊哥玩枪吐槽说，我这个评审，评论就一句话，然后给了个5，你告诉我怎么rebuttal？

 

 

但到底还是有心态好的。

 

一位网友表示：「3444，赢! 但又没完全赢，但是赢了。其他人认为我没赢，但也没输。但是我觉得我赢了，不过也没有完全赢。」

ICLR，尘埃落定

另一边ICLR 2022的录用结果也是「几家欢喜几家愁」。

本届ICLR 2022会议共收到了3325篇有效投稿，投稿的平均分为4.93（+- 1.15） ，作为对比，ICLR 2021 rebuttal后的平均分为5.37（ +- 0.96）。

 

数据显示，31篇投稿的平均分为8分，39篇投稿得到最高分10分，没有1篇投稿得到两个以上的10分。

 

 

对于中稿的人来说，论文的价值得到了同行的认可，绝对是一件值得庆祝的事。

 

加州大学伯克利分校EECS博士生Dhruv Shah的论文被接收后表示，「ICLR的rebuttal过程依然是最有成效和高效的审阅周期，并且作为论文作者和审稿人共同提升投稿论文质量非常令人满意」。

 

 

MIT CSAIL的博士后研究员和ETH博士Octavian Ganea、DeepMind的研究科学家Petar Velickovic各自都有两篇论文被ICLR 2022接收，主题涉及蛋白质对接、材料和图表示学习的进展。

 

他们都表示，「ICLR不愧是我最喜欢的会议，继续看好ICLR」！

 

 

但对于没中稿的人来说，也不要灰心，当下审稿机制也要背一部分锅。

 

网友@Domates93表示，「我们的论文被拒，给出的理由没有讨论一篇相关论文，但我们确实讨论了。可笑的是，这篇相关论文是我们论文的主要baseline。」

 

有人建议写信给PC，但曾有过相同经历的「不幸者」认为这样做没用，PC只会对审稿人的决定表示遗憾。

 

 

网友@pastimenang的被拒理由是「过于高估了 ICLR 参与者对偏微分方程（PDE）解的数值方法的理解」。

 

 

最离谱的是网友@Stochastic_Machine，他表示，「审稿人甚至没有读我的论文。他的评审意见是基于我提交至另一会议的旧版本论文，给出了非常低的分。」

 

CVPR，从交稿就开始「渡劫」

2021年11月16号，CVPR官方推特提醒：「CVPR 2022论文提交截止日期为2021年11月16日，就是今天（太平洋时间晚上11:59，北京时间11月17号下午15:59）」。

 

祝大家好运！

 

 

然而没想到的是，CVPR官方论文的提交网站的运气可不怎么好。

 

在即将截止前的1个小时，突然404了。

 

11月17号下午六点，CVPR官方消息终于放出。

 

「由于CMT的问题，CVPR 2022论文提交截止日期已延长至2021年11月18日太平洋标准时间上午11:59（原始消息称太平洋夏令时，实际上应为太平洋标准时间)。这一消息也将通过CMT与作者交流」。

 

 

11月18号凌晨，CVPR官方确认论文已经可以开始提交：「由于MicrosoftCMT网站在CVPR 2022截止日期前的最后一个小时关闭，我们的项目主席决定将论文提交截止日期延长至太平洋标准时间2021年11月18日上午11:59（北京时间11月19号凌晨3:59）。CMT提交网站正在备份和接受提交」。

 

 

接着，CVPR公布了MicrosoftCMT崩溃背后的原因：「CMT通知我们，截止日期前几个小时CVPR 2022的论文提交速率过大，服务器分配不足导致了最终的网站崩溃」。

 

至此，这场宕机风波总算结束了，赶deadline的同学悬着的心终于放下来了。

 

不过，CVPR就怕你放松，还来个友情提示：明天就不要在最后一刻才提交论文了，早点提交不就啥事都没有了！

 

 

正如你可能亲身经历的那样，在原定的CVPR 2022提交截止前的一小时，CMT提交系统无法承受负荷宕机了。正因为如此，我们决定将提交截止日期延长36小时，至太平洋时间2021年11月18日星期四上午11:59。

 

所有提交给CVPR 2022的论文必须在该时间之前上传至CMT。通过电子邮件发送给程序主席的论文不会被考虑。请不要通过电子邮件向我们发送您的论文。

 

 

参考资料：

https://www.zhihu.com/question/502566228

https://www.reddit.com/r/MachineLearning/comments/sbznkq/d_cvpr_reviews_are_out/

https://www.zhihu.com/question/512610921

https://www.jiqizhixin.com/articles/2022-01-21-4

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

CVer-Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群
▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看