被“拒”掉的 ICLR 论文：因使用商业软件，被怀疑提高AI门槛

作者 | 蒋宝尚

编辑 | 陈彩娴

11月11日凌晨，ICLR 2021初审结果在官网公布，目前正式进入Rebuttal阶段。据Criteo AI Lab机器学习研究科学家Sergey Ivanov统计分析得到结论： 如果论文接收率为20％，那么论文平均分数要达到6分以上才能被接收。

另外一个结论是： 所有论文的平均分数为5.16 （中位数为5.25）。这意味着，低于平均分的论文作者，要好好准备rebuttal的材料了。  

还有一类作者已经得到了明确的答复。在reddit上一位网友说，他的论文有一个得分为3，原因是： 用了商业软件，增加了强化学习进入的门槛 。

 

1

因提高AI门槛被拒？

据OpenReview官网介绍，该论文标号为2137， 主要的贡献是一个数据集，可以用于深度数据驱动的强化学习。

具体而言，它为离线的强化学习设计了一个基准，设计根据是现实数据集的关键属性。另外，作者还发布了基准任务和数据集，对现有算法和评估协议进行了全面评估，并提供了一个开源代码库。

目前，这篇文章有4个评审一名领域主席进行打分，得到了两个6分，一个3分，一个2分。 其中，2分和3分代表着“强烈的拒绝”。

正如前面所述，有评审给出3分的理由是：使用了MuJoCo，这是一款商业软件包。评审说：“ 六个任务（Maze2D，AntMaze，Gym-mujoco）中的一半严重依赖于MuJoCo模拟器 ，该模拟器是一种商业软件，即使在学术上也不免费。另外，个人MuJoCo许可的费用为每年500美元。因此， 我担心大多数究人员无法访问MuJoCo。 ”

另外，评审表示：“鉴于MuJoCo潜在的高影响力，本文确实将极大地促进MuJoCo的使用，使RL更具有特权（意思是，使用有门槛），如果可访问性（易得性）问题得到解决，例如使用PyBullet作为引擎，我很乐意提高我的分数。

对于这一评审意见，一位名为Rasool Fakoor的读者持反对意见：1、同意评审关于“许可”的说法，但这不是拒绝该论文的理由，评审 忽略了该论文的真正贡献 。2、评审要求用PyBullet构建一个基准，但 这可能需要花费几个月的时间 。3、这种拒绝理由， 只会打击研究人员投资建建立这类基准的信心 ，显然给领域带来负面影响。

经过讨论，原来给6分的评委也转变了态度。他说：我在撰写评语的时候，没有意识到此基准测试需要商业软件（Mujoco），我完全同意“ 这对于标准化基准测试是非常不利 ”的观点。

除此之外，给出2分的评审没有聚焦于“商业软件”的话题，他的理由是：虽然作者提供的数据集对离线强化学习研究人员来说非常有用，但在新的想法方面却没有任何进展。 总体而言， 这项工作的主要贡献是：在某个地方收集线下数据，减少了其他研究人员这样做所需的时间，因此，除了对数据进行标注外，作者似乎并没有做任何重要的工作。 所以，我不认为这项工作应该在“高端会议”上发表。

最后，领域主席也发表了看法：许可证（易得性）问题是可以理解的，但不要拿这点大作文章，最重要的是考虑这篇文章最新的贡献在哪。正如第一位评审(给出2分的)所给的评价那样，我们会考虑所有因素，从而做出决定。

换句话说，根据2分评委的建议，这篇文章大概是凉了。

而在reddit上，大多数网友都是都是持同情的态度： 把科学领域的可重复性等同于任何人的可重复性是一种愚蠢！

 

2

“吐槽大会”

本次ICLR 2021一共有3013篇论文提交，其中有856篇论文是来自NeurIPS 2020 Rejection 之后重新提交的。

回忆去年ICLR 2020的审稿，可谓是吐槽与争议不断。

比如，一篇ICLR 2020的论文在拿到满分评价后，其他的两位审稿人又连续给了2个1分评价，还有的论文三位审稿人均给出了6-6-6的高分，但区域主席却做出了不适用自己论文的评语。

另外在去年的时候，南京大学周志华教授曾曝出： ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文。

      

后来周教授又指出： 开放评审进当参与者都是相当level的专家才有效，否则更容易被误导。学术判断不能“讲平等”，一般从业者与高水平专家的见识和判断力不可同日而语，顶会能“顶”正是因为有高水平专家把关，但现在已不可能了......

点击阅读原文，直达ICLR小组！