越来越难了!ICML 2021刚刚做出了一个「艰难的决定」:将论文接收率直接砍掉10%

2021 年 5 月 2 日 专知
转载机器之心
编辑:蛋酱、小舟
年初投过 ICML 2021 的同学们要注意了,组委会刚刚做出了一个艰难的决定……影响结果是,各位的论文的接收概率似乎又下降了一点。



今天,马里兰大学计算机系副教授 Tom Goldstein 在推特上表示,他从一位 ICML 2021 主席那儿获知,大会主办方正准备削减本次的论文接收数量。「请与您的SAC一起提升水准,AC/SAC 不再仅因为未出现错误就同意接收一篇论文。」

ICML 是机器学习领域最重要的会议之一,在该会议上发表论文的研究者也会备受关注。近年来,ICML会议的投稿数量一直增长:ICML 2020 投稿量为4990篇,ICML 2021的投稿量据说更多,有研究者在官网注册ID,发现已经排到了8000多名。这一度让人好奇,ICML 2021 会成为CVPR 2020 之后又一个「投稿破万」的AI顶会吗?

投稿数量激增一定会带来很多问题,比如审稿人数量不足、工作量激增、部分审稿人资质不足,长远来看也会对会议本身的口碑造成影响。

也许这就是推动ICML 2021 主办方决定主动降低接收率的原因之一。Tom Goldstein 补充说:「他们表示首要任务是接收有趣的、原创的(或高风险的)论文,但没有说明为什么要削减目前接收的论文数量……」


同为AI顶会,其实 ICML 会议并不属于接收率很高的那一档:ICML 2019 为22.6%,ICML 2020 为 21.8%。相比于26.5%(ICLR 2020)、28.7%(ICLR 2021)等数字来说,是有一定差距的。

普林斯顿大学计算机教授 Ryan Adams 透露,本次降低的接收比例大概是10%:「根据当前的 Meta-Review 统计数据,我们需要提高接收标准。请与 AC 协调以减少大约10%的接收。」



但这一消息也受到了机器学习社区部分研究者的质疑,Ryan Adams 就认为:作为线上举办的会议,又不受线下资源限制,为什么要来这么一出呢?


滑铁卢大学教授Gautam Kamath也认为:我同意「论文没有错」确实不足以被接收,论文也应该有趣。但我不同意减少接收论文的数量,尤其当我们没有传统的空间限制时。


纽约大学教授机器学习教授Andrew Gordon Wilson表示,基于平均审阅者分数对论文进行排名也是个问题,特别是如果目标是鼓励「冒险」和「启发性」,这样的论文在得分上常常是两极分化的。


有人认为ICML会议主办方搞的这个方法,如果真正落实,未必会取得更好的效果:

理想效果:1、会议排名提升;2、效果提升。
实际效果:1、审稿心态变为「为什么要拒掉这篇稿」,而不是「为什么要接收这篇稿」;2、技术上不合格或懒惰的审稿人变得更加不认真,为了让均分低于6.0而审稿,不再好好阅读Rebuttal。



再过几天,ICML 2021就要放榜了,骤闻拒稿新规,各位投稿人心里大概是起起落落……

顶会该怎么改革?


随着投稿数量逐年激增,机器学习顶会审稿压力日益加大,审稿质量也成为人们的一大忧虑。最近,各大顶会也都纷纷推出改革措施,以提升审稿质量。围观之后,方式主要有几种:

降低接收率

以IJCAI为例,降低论文接收率也许是提升顶会论文质量的一种方法。在4月30日放榜的IJCAI 2021上,论文接收率仅为13.9%。相比于去年的12.6%虽略有上涨,但仍低于15%。对比往年接收率会发现,IJCAI的论文接收率自2016年开始出现断崖式下跌。

图源:https://github.com/lixin4ever/Conference-Acceptance-Rate

另一方面,一些顶会通过改革审稿机制来提升论文质量。

公开审稿意见

今年4月初,NeurIPS 2021宣布将大会的全部审稿流程转移到论文审阅平台 OpenReview 上,并在被公开的论文下,把审稿意见、作者的讨论等内容全都一并曝光出来。NeurIPS 2021大会方面表示:「尽管现在我们还是无法利用开放审稿系统的全部好处,但新政策确实可以给论文作者们提供一个可以公开显示,并反击论文评审中存在问题的机会。」


糟糕的审稿意见。

滚动审稿

国际计算语言学协会 ACL 今年推出了自己的新机制 ACL Rolling Review,它适用于所有 ACL 系列会议和 Workshop 的投稿与审稿流程。这种滚动审稿机制将在今年 11 月 7 日举行的 EMNLP 2021 大会上首次得到应用。


AI协助审稿

在一些AI 顶会的审稿工作中,主办方使用了 Toronto Paper Matching System (TPMS),在此之前 TPMS 也被应用于其他多个会议的投递论文分配工作,它通过对比投稿论文和审稿人研究工作之间的文本,来计算投稿与审稿人专业知识之间的相关性。这个筛选过程是匹配系统中的一部分,期间审稿人也可以主动争取自己希望审阅的论文。

TPMS架构。

此外,OpenReview 开发了一种「亲和力评测」系统,借助了神经网络「Spectre」来分析论文标题和摘要。OpenReview 和麻省大学阿默斯特分校的计算机科学家 Melisa Bok 和 Haw-Shiuan Chang 表示:「包括 NeurIPS 在内的一些计算机科学大会将在今年把亲和力评测系统与 TPMS 结合使用。」

在机器学习论文爆炸的今天,顶会不断引进的新措施将让论文质量迈上一个新的台阶。

参考链接:
https://twitter.com/tomgoldsteincs/status/1388156022112624644
https://www.reddit.com/r/MachineLearning/comments/n243qw/d_icml_conference_we_plan_to_reduce_the_number_of/


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“USTR” 就可以获取【CVPR2021】无监督时空表示学习的大规模研究》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

专知会员服务
91+阅读 · 2021年6月3日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
AAAI 2021论文接收列表放出! 1692篇论文都在这儿了!
专知会员服务
72+阅读 · 2021年1月3日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
【快讯】CVPR2020结果出炉,1470篇上榜, 你的paper中了吗?
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
AAAI 2020放榜,8800篇提交论文创纪录,接收率20.6%
机器之心
8+阅读 · 2019年11月11日
KDD 2019放榜,接收率低至14%,你的论文中了吗?
机器之心
7+阅读 · 2019年4月30日
【ICLR 2019录用结果出炉】24篇Oral, 918被拒
专知
7+阅读 · 2018年12月21日
ICLR 2019论文接收结果揭晓:24篇oral论文有没有你?
ICLR 2018十佳论文
论智
5+阅读 · 2017年12月4日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
31+阅读 · 2018年11月13日
VIP会员
相关VIP内容
专知会员服务
91+阅读 · 2021年6月3日
ICML 2021论文收录
专知会员服务
122+阅读 · 2021年5月8日
AAAI 2021论文接收列表放出! 1692篇论文都在这儿了!
专知会员服务
72+阅读 · 2021年1月3日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
【快讯】CVPR2020结果出炉,1470篇上榜, 你的paper中了吗?
AAAI2020接受论文列表,1591篇论文目录全集
专知会员服务
98+阅读 · 2020年1月12日
相关资讯
AAAI 2020放榜,8800篇提交论文创纪录,接收率20.6%
机器之心
8+阅读 · 2019年11月11日
KDD 2019放榜,接收率低至14%,你的论文中了吗?
机器之心
7+阅读 · 2019年4月30日
【ICLR 2019录用结果出炉】24篇Oral, 918被拒
专知
7+阅读 · 2018年12月21日
ICLR 2019论文接收结果揭晓:24篇oral论文有没有你?
ICLR 2018十佳论文
论智
5+阅读 · 2017年12月4日
Top
微信扫码咨询专知VIP会员