首先,罗杰波教授分析了当前学术会议在审稿方面的一些普遍现象,表现在三个方面:
首先,AI 领域目前正在爆炸性地发展,许多会议的论文提交量都接近一万篇,因此需要大量的审稿人。如果一个会议有 7000 篇提交论文,每篇论文需要写 3 个 reviews,假设每个审稿人平均能够写 7 个 reviews,那么将需要 3000 个审稿人。
其次,在审稿人需求量剧增的形势下,许多新的经验不足的审稿人就加入到这个行列中,包括博士生、硕士生、本科生以及其他领域的研究人员。这也造成了一些问题,比如审稿人缺乏系统的训练,往往都是从个人经验中进行 “无监督学习”,而个人经验(往往是不愉快的论文被拒的经验)与优秀的系统经验相差甚远。
最后,有些研究者对好的 reviews 印象不深,对不好的 reviews 却耿耿于怀且如法炮制。这就造成了社区中公认的一个问题:冤冤相报何时了。而一个领域的健康发展在很大程度上都依赖于高质量的同行评审。
针对学术会议存在的这些审稿问题,罗杰波教授首先列出了一些有经验的研究者,并介绍了他们对于 review 质量的见解。同时,罗杰波教授也给出了他对提高评审质量的建议,包括以下六个方面:
己所不欲,勿施于人。 社区是由每一个人组成的。 寻找接收论文的理由。 论文写作是很重要的。 审稿的首要目标是好论文被顶级会议 / 期刊接收。 如果你不熟悉该领域要怎么办。