会员服务 ·

作为审稿人，如何评价一篇论文的novelty？

2022 年 7 月 30 日 极市平台

↑ 点击蓝字关注极市平台

作者丨电光幻影炼金术、战斗系牧师（已授权）

来源丨知乎问答

编辑丨极市平台

本文已经作者授权，二次转载需联系原作者

极市导读

novelty是一篇论文的灵魂所在，那么具体怎么样评价一篇论文novelty够不够足呢？更具体地，novelty有哪些类型呢，其中哪些会让你觉得比较好，很加分，哪些会让你觉得不太能说得过去呢，想要reject？ >>极市七夕粉丝福利活动：搞科研的日子是364天，但七夕只有一天！

# 回答一

作者：电光幻影炼金术

来源链接：https://www.zhihu.com/question/542598526/answer/2571518077

一个简单的衡量标准：能够给多少新的研究者饭吃，就有多少novelty。

非常差的文章： 完全炒旧饭，整篇文章读下来没有一点启发，甚至没有前人的工作好，不仅不能给新的研究者饭吃，老的研究者看着都生气，甚至死去的研究者都恨不得爬起来给作者两刀。新的研究者看了，只会被误导或者浪费生命。 这种就直接给毙了。

一般差的文章： 跟在别人屁股后面跑，抓到一两个新的概念（比如transfomer），不加多想调一调参数就直接提交论文，只是纯纯的内卷，没有提供一个新的研究机会。新的研究者看了，口吐鲜血，感叹道又少一个可以占的坑位。 这种比较难中稿，如果有其他优点也可能中。

中等的文章： 利用一些比较新的概念比如transformer，在一些比较新的领域做应用，并且有自己比较深入的思考和发现。新的研究者看了，觉得原来还能这么玩。有一小批研究者能从中受到启发，做出更好玩的玩法。 这种是比较常见的玩法，也是市面上能见到的大部分论文的样子。还有一种中等文章是研究的路子过于小众或过偏，虽然也有新意，但是大部分人没有兴趣，也很难吸引新的研究者。

较好的文章： 能够提出一些创新的概念，或者提出一种新的任务结构，让数十个研究者不再卷原来的任务/方向，而能沿着新的路子继续研究下去。 这样的文章可以算是比较好的文章，审稿人一见了就眼睛发亮。

非常好的文章： 开辟一个新领域，让数百个上千个研究者沿着新的方向做下去，并且成为改变科研文化甚至人类生活的颠覆性工作。 能养活一个领域成千上万的研究者，功德无量。这样的工作可能审稿人审十年都碰不着一个，能审到这样的文章是审稿人的幸运。

# 回答二

作者：战斗系牧师

来源链接：https://www.zhihu.com/question/542598526/answer/2573163316

Novelty其实也不是这么玄乎的一个概念

在今天喝可乐的是时候我想到了一个绝妙的比喻，来帮助大家理解这个东西。

A：提出了可口可乐，它很好喝，很适合41度的高温夏天用来解暑。

B：提出了无糖的可口可乐（零度），它很好喝，很适合吃火锅的时候用来解渴而且0糖，不长胖。

C：本文提出了一种新型的可乐加工方法。其最重要的理念是要把可口可乐装进百事可乐的瓶子里面。我们发现百事的可乐太甜，可口的可乐瓶子太丑，而本质上最好的解决方法就是把可口可乐装进百事可乐的瓶子里面。从众多的方案中，我们对各种特性进行分析，发现一个关键点是使用百事可乐青柠味的瓶子装可口可乐最适宜。它由于瓶身大，会让客户有买到真货的愉悦感；由于他们的白色瓶盖设计，增加了瓶子颜色丰富度，刺激了消费者的购买欲望。最重要的是，把可口可乐装进百事可乐的瓶子里面之后可乐变得好喝了很多。我们做了大量实验，发现老少咸宜，凡是喝了这样的可乐都会变得心情舒畅，可见这瓶可口百事可乐可以让大家都拥有一个愉悦的心情。

那么在A、B、C中哪个才是所谓的创新性呢？你经常写的文章又会是那一类呢？

纯粹的Novelty，本质上主张的是一种创新的思维，是一种你独有的思维体系下得到的实验求解方案，这个东西出来能够引领行业一系列的发展和变化，是一个0-1的工作。

纯萃的Novelty，其实这种Novelty会更加常见。工作主要是从好的文章中萃取得到了一个稳定可靠的核心思想，从而发展和延伸了这个工作，做了一个1-100的工作，帮助伙伴们打开了更大的局面。

纯吹的Novelty，本质上靠的就是讲好一个好故事，更多是基于别人现有有的东西进行包装和引导，就比如大家都提到的恶意套用Transformer刷文章事件，这类的工作所含的我们做的工作量是不够支撑一篇完整顶会的，但Transformer本身的功能是可以支撑一篇文章的。经常我们水手通常实验工作2天，剩下的28天主要是创作出一个故事营造出自己是怎么努力的工作了很长时间得出这样结论，为行业带来了新的方向。实际上可能就是把500毫升装的可乐，变成了1.5升装的可乐。

我们其实不必要纠结于0-1或者1-100哪个更具有Novelty。 因为这我们很多时候做的就是给1加个绝对值，假装自己的工作由1变成了111，然后写着写着文章也慢慢的把自己骗过去了，以为自己真的做了一个很不错的工作。最后回过头来问自己，明明自己的工作做得还可以，为啥自己被拒的原因是没有Novelty。我知道很多伙伴会因为审稿人把拒稿的原因说成是没有Novelty然后觉得审稿人不行，觉得发文章很难。我建议不要急着甩锅给审稿人，静静的想想其实我们看文章的时候把自己的工作与同一时期大家做的工作拿出来一放，自己对比着算一算就知道，其实自己还是很有距离的。

其实我还碰见自己的一些朋友提出了许多天马行空的idea，然后貌似实验也没有做到SOTA就直接写了文章A上去了，这样的文章其实才是最毒瘤的。这样的文章通常穿着创新性的外衣，很具有迷惑意味，但是这是Novelty吗？很显然这不是，这只是在胡闹。我看过很多伙伴在呼吁当文章的Novelty足够的情况下，可以放宽松对于SOTA的要求。 我觉得这样的呼吁是不可的，在我的认知中，论文和SOTA是分不开的。看过我爱发明的都知道，按剧本来说一个自学机械的老伯做出来的全自动蒸包机，需要通过至少3次的考验。第一次是个人solo环节，这个环节就是自吹自擂，拿出自己的蒸包机，说自己的机器可以干过三个人工，然后拉上不支持自己做机器的老婆、帮自己修机器的老伙计、主持人团队的大汉，加上自己，最后按照剧本机器获胜。第二轮找到一个卖包店铺，让包子铺的老板叫上自己的5个员工，按照第二轮剧本比赛赢了时间但是包子的味道也不好吃。最后一次经过不断的实验改良，第三轮完美复刻包子铺的味道，完胜了包子铺老板，然后机器卖给了老板，实现了三赢。连老伯都知道自己的机器要上我爱发明要真正的赢过包子铺老板，那么我们凭什么说处于我爱发明第二轮的文章就可以脱离SOTA得到认可呢？

最后

好的Novelty是可遇不可求的，是需要90%的努力加上10%的运气才能诞生的。Novelty的出现也和论文本身所提出来的问题挂钩。真正的Novelty是可以有效解决问题的，所以Novelty的下限其实往往取决于有没有一个好的问题进行指引，我们如果看到文章的问题都不够直接，不够具体，那么八成这文章也不是一篇有创新性的好文章！