这是一篇论文评审吗？
【导读】面对如今每年数量暴增的AI领域顶级会议论文投稿量，作者Zachary C. Lipton在Approximately correct上发表了对论文评审的一些看法。Approximately correct是一个旨在沟通机器学习技术和社会观点的博客网站。CMU的Zachary C. Lipton致力于机器学习领域相关研究。
作者 | Zachary C. Lipton
编译 | Xiaowen
随着提交论文的数量激增，经验丰富的研究人员队伍停滞不前，机器学习会议做出了不可避免的选择，让同行评审员队伍扩大，希望能够应对这场冲击。
该图描述了NIPS提交论文数随时间的变化趋势。红色条形图是对未来的预测。
由于几乎所有的教授，博士生等评审工作量都趋于饱和，会议组织者变得“富有创造力”，在“不太可能”的地方找到了审稿人。记者联系到了ICLR的程序委员会主席，他拒绝透露他们寻找未开发的评审人才的战略，或许是担心这些商业秘密可能被竞争对手NeurIPS和ICML所利用。幸运的是，在不愿透露姓名的情况下，几名 (级别较低的) ICLR国际会议成员同意讨论几个不寻常的来源：
All of /r/machinelearning
Twitter users who follow @ylecun
Holders of registered .ai & .ml domains
Commenters from ML articles posted to Hacker News
YouTube commenters on Siraj Raval deep learning rap videos
Employees of entities registered as owners of .ai & .ml domains
Everyone camped within 4° of Andrej Karpathy at Burning Man
GitHub handles forking TensorFlow, Pytorch, or MXNet in last 6 mos.
A joint venture with Udacity to make reviewing for ICLR a course project for their Intro to Deep Learning class
有这么多新的审稿人，也许这并不令人意外地看到一些不寻常的评论：一些很简短的、或者一些奇怪的…网落用户(比如“inho，srs paper4real”等)，以及一些质疑关于社区成员共同知识的人(“who are you to say this matrix is degenerate?”)。
然而，这些评论对一个旁观者来说可能意味着新评审员的无能，掩盖了一群新的审稿员为迎接这一场合而作出的认真努力。我之所以知道这一点，是因为这些新审稿员中的许多人都热衷于 Approximately Correct [1] 的阅读，在过去的几周里，我的邮箱里充斥着来自善意新评审员们的严肃问题。
如果你以前教过一门课，你知道他们的问题会有很大的重叠，这可能并不令人惊讶。因此，虽然我们通常不会在 Approximately Correct发布 QA 类型的文章，但这次可以破例。我汇编了几个问题作为例子，并提供了比较简洁的答案，这是一篇罕见的 QA 文章，我们称之为“这是一篇论文评审吗？”
来自Pasadena的Henry写到：
亲爱的 Approximately Correct：
我被指派去评审一篇论文。我阅读了摘要，并形成了与论文主题相关的观点。然后，我写了一段话表达了我的观点，另一部分与一个匿名评论者就一个无关的话题进行了讨论。这是Hacker News的标准做法，我在那里获得了2000多张选票，这构成了我参加ICLR国际会议评审资格的基础。这是论文评审吗？
AC：不，这不是论文评审。
来自Mysore的Pandit写到：
亲爱的 Approximately Correct：
我读过一篇关于梯度下降的收敛性的论文。我没看明白他们文中所说的“limit”，所以我跳到论文的后面，在那里我注意到他们没有在ImageNet上做任何实验。我写了一篇单行的评论，标题上写着：“Not an expert but WTF？”，正文中写“没在ImageNet上做实验？” 这是论文评审吗？
AC：不，这不是论文评审。
来自上海的Xiao写到：
亲爱的 Approximately Correct：
I trained an LSTM on past ICLR reviews. Then I ran it with the softmax temperature set to .01. The output was “Not novel [EOS].” I entered this in OpenReview. Is this a paper review?
AC：不，这不是论文评审。
来自Boulder的George写到：
亲爱的 Approximately Correct：
在审这篇论文时，我注意到它在某些方面与我在1987年时的想法有些相似。虽然我喜欢这个想法，但我给这篇论文打了一个中等分数，一半的审稿意见对技术工作进行了扎实的讨论，另一半专门列举了我自己的论文，并要求作者引用它们。这是论文评审吗？
AC： 这听起来像是一篇糟糕的论文评审。但是如果你冷静下来，把分数提高到你认为它值得的分数，拿出所有关于你自己的论文的内容，然后给你的metareviewer发一封贴心的笔记，指出一个小小的利益冲突，这可能是一个很好的评审。
来自New Jersey的Rachel写到：
亲爱的 Approximately Correct：
我看了一篇文章。在前2页中，有10个数学错误，包括一些使论文的全部贡献明显错误的错误。为了节省我的时间，我停止了阅读，写了一段简短的评论，指出了错误，并说“不适合在ICLR国际会议上发表”。这是论文评审吗？
AC：虽然通常如此简短的评审意见可能不合适，但这是一个明显的例外，这是精彩的评审！
许多论文作者对于审稿分数存在许多争议，对于扩大评审队伍的这类做法是否能行之有效还有待考察。
参考链接：
1. http://approximatelycorrect.com/
原文链接：
http://approximatelycorrect.com/2018/11/18/is-this-a-paper-review/
-END-
专 · 知
人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！
请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！
请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG等）交流~
请关注专知公众号，获取人工智能的专业知识！
点击“阅读原文”，使用专知
展开全文
微信扫码咨询专知VIP会员