在这个写 ECCV2020 Rebuttal 的日子里，不如我们也来聊聊审稿人们

2020 年 5 月 23 日 极市平台

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

编辑｜极市平台

ECCV2020今日出分，许多小伙伴应该都收到了自己的分数，更快速的同学可能已经开始写Rebuttal了。

关于如何写Rebuttal，之前魏秀参大佬已经写了一篇优质干货：浅谈学术论文rebuttal，从“What is peer review？”、“How to rebuttal?”及“Does rebuttal matter?”三部分对如何写rebuttal进行了详细论述，在此摘录一段：

Rebuttal时，针对不同review类型：

（1）喷「novelty」：这类最为麻烦但也是作者们遇到可能最多的意见，作此类rebuttal时不妨重新梳理和强调文章的重要贡献，然后澄清并不是trivial的简单combine，再强调一下motivation和intuition，用另一种方式将文章亮点表达出来。同时，可以尝试“围魏救赵”，即：若审稿人针对方法的某个部件提出novelty不足，可强调其他部件或整个方法的范式是前所未有的；或claim说方法简单有效，思路全然不同；

（2）喷「factual error」：审稿人一旦找出文章的事实性错误，作者不妨大方承认，并表示感谢，同时表示会在final version中更正错误；另一种情况是，可能就是因为作者自己没写明白，才使得审稿人错误理解，如此，也可大方承认，说“我们已经修改了这部分描述，实际上是这样做的，并不是你理解的那样，blabla”；

（3）喷「涨点不足」：此类一般有两种，一则无证据的裸喷涨点不足；二则有证据（提供了reference）喷涨点不足或喷没有对比reference中结果。针对一，可找些证据（如列reference）论证自己方法的涨点幅度和其他state-of-the-art的涨点幅度是可比的，“你看，别人发在顶会的结果相比baseline也是涨这么多”；针对二，可试着找出这些“证据”方法和自己方法的不同之处或实验细节的不公平之处，比如图像分辨率不同、backbone不同等；

（4）喷「实验不足」：有条件做实验的，rebuttal中补上即可；若实验规模太大，rebuttal期间无条件做出，可在rebuttal中承诺final version中补上（这样力度会相对较弱）；而对于要求不合理的实验意见，可实事求是的说明为何无需做实验；

但是，我们今天这篇文章的重点并不仅是Rebuttal，而是我们Rebuttal的对象：审稿人。

审稿人的意见会作为AC给予每篇论文生杀予夺的重要依据，对于接受与否的重要性也是不言而喻。虽然审稿都是匿名的，但是不同的审稿人的review风格却有迹可循，这有助于我们在Rebuttal时对审稿人倾向进行预测，也就是“一切可以团结的力量都要团结，不中立的可以争取为中立，反动的也可以分化和利用”。

那么在AI领域，什么样的审稿人才是“合格”的？知乎作者@Naiyan Wang(https://www.zhihu.com/question/384460067/answer/1164611157)分享了自己的审稿经历：

首先，讲一下个人的经历。我每年会固定接受CVPR/ECCV/ICCV/ICML/NIPS/AAAI/IJCAI的审稿邀请，基本上每年会写40多篇review。除此之外，也会收到不少Journal的审稿邀请，一般也会去挑一些高质量且相关的文章接受。声明一下审稿是真的完全义务劳动，何况我也不混学术界，和各方势力也不存在利益瓜葛。

在心里面，我会把reviewer分成4个档次吧。

1. 第一类是非常认真，站在作者角度帮助作者去完善整个idea和文章的review。 现在这个年景，非常罕见，基本也只存在于那种old school的前辈身上。听说过一些朋友早年在投稿的时候，收到过比自己paper还长的review，lol。在我这么多年会议的投稿经历里，其实也只遇到过一次，事无巨细地从整个idea层面到具体的写作都给了很多很有帮助的建议。这样的reviewer一般也很讲道理，乐于接受rebuttal中的反馈。像我唯一遇到的一次，开始这个reviewer给了一个weak reject，但是我们rebuttal也是非常认真地address了一些核心疑问，在最终的评分中，分数也涨到了weak accept，完成了一篇244的逆袭。对于我而言，很清楚地知道自己经手的这些review受限于精力和阅历是达不到这个水平的。

2. 第二类是能够一针见血点出本质，虽不会那么细致，但可以启发作者思考和改进文章。 这样的reviewer在现在的大环境中也已经是可遇而不求的了。一方面，能够遇到对文章研究的小领域有足够深刻的insight的reviewer本身就是碰运气的一件事情；另一方面，就算遇到真懂的reviewer可能也不愿意在review的过程中share太多的insight，尤其是自己私下的一些想法和结果，说不定这就是人家下一篇文章的核心。但是我仍然觉得，这应该是每个reviewer应该去努力达到的目标，如果能做到这一步那这reviewer做的也是问心无愧。

3. 第三类是对于文章所在的子领域并不是那么了解，没法给出在idea层面的一些帮助，但是在实验或者写作可以给出一些建议。 遇到不匹配的文章，这其实在现在这个大AI时代也是不可避免会出现的一种情况。在这种情况，最好能做的也就是帮助作者在实验验证或者写作方面改进，同时把confidence score打低，让AC知道你并不熟悉这个文章。把confidence score打低并不是一件丢人的事情，反而可以帮助作者和AC知晓真实的情况，在rebuttal和做出最终决策的时候更看重那些更熟悉子领域的reviewer的意见。

4. 第四类是明明不懂文章在说什么，还非要指点江山，抓住一些细枝末节品头论足。亦或是整个review非常业余。 这种reviewer本质上不是“蠢”就是“坏”。“坏”可能体现在这文章本身或者是作者跟自己有一定瓜葛，所以会故意给出一个不合理的高分和低分。这个就不展开说了。“蠢”可能技术能力原因，也可能是review的经验不足。对于前者来说，我经常告诫自己以及我带的小朋友们对于不懂的东西要怀有敬畏之心，而不要妄下结论。对于越senior的人越应如此，因为信你的人也会越多。对于后者来说，我这里有一个珍藏多年的例子，相信大家看了也就明白什么意思了，会泄露文章信息的部分已经隐去。

I’ve read your paper on blablabla. A .... module is employed to .... So you could improve the processing speed with negligible accuracy reduction. I see your results show that you’ve achieved the goal to reduce the processing time. And also your method is creative. However, there are still some little problems in your paper. First, you haven’t told us why it is important to improve the speed. Second, why you abandon ...? Maybe it’s better to speed up the framework by applying a new feature learning approach. Thanks for your reading.

这就是在某AI顶会某个reviewer对一篇文章全部的review。。。我相信作者看到内心一定是崩溃的。。。

说回正题，问题中特意问到在review的过程中有什么值得注意的习惯，以我个人经历总结如下吧：

1. 多抱着多元开放的心态看待别人的工作，不要先入为主，直接片面地judge一个文章。一篇好的文章可能是多样的，既可能是大家熟知的效果很好，也可能仅仅是引发了别人的思考。研究的工作从来不是只靠天才建立出来的一个个孤点，而是大量看上去平平无奇工作中的某个小闪光点汇聚而成的。能让自己去欣赏不完美的工作，并从中吸收营养，我认为这也是一个合格的研究者必备的一个技能。

2. 不懂的东西不要乱说话！这点在前面已经提到了，这里再拿出来强调一遍。打低confidence score并不丢人！并不丢人！如果每个reviewer都能对自身的认知有个客观的评估，很多reviewer中不一致的意见其实也是相当容易处理的。

3. 保持独立客观，屏蔽外界因素，不卑不亢评价工作。这一点其实在现在arxiv和自媒体时代更难把持。大佬参与或者是来自于Google FAIR这样的著名研究机构，多多少少都会对reviewer的心理产生影响。越是在这样的时候越是要摒弃掉这些和文章本身无关因素的影响，不要让review变成过场。换个角度说，这也是难得的和大佬过招的机会。不用担心身份，可以challenge大佬的工作，作者还要认真回复，这本身不也是美事一桩吗。

你的ECCV分数怎么样？和你的审稿人有没有什么故事？欢迎在评论区分享~

PS：为了方便小伙伴们更好的进行交流讨论，我们特地建立了【 极市ECCV2020论文交流群 】，扫描下方二维码，备注ECCV，即可入群~

推荐阅读：

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：AI移动应用-小极-北大-深圳），即可申请加入AI移动应用极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~