AI论文中的novelty如何评价？
这几年，做了几十次顶会的pc，例如neurips, aaai, icml, acl, emnlp, uai, iclr, ... 也多少看过一些reviewer和author之间的因为novelty之间的互怼，互撕。
【更新】这么多大神，关注这个回答。我的确受宠若惊了。。。
这个真实是我的个人看法，并不是一个放之四海而皆准的，唯一的标准。
首先，很多大神说，要看解决了什么问题。我对于这个完全同意。我个人的经验在于，审了200篇AI, NLP, DL的文章，提出新问题的有个3-5篇就不错了。这样的，我统统推荐了best paper。能提出新问题的，真的是可遇不可求--- 限于我个人的经验。
其次，很多人评价说，我的审查有失公允，太偏了。可是，当我打开author response，我的打分永远是top-1/top-2的，我的评语永远是最长的。咱们应该让事实说话。
这一点，我有个经验，国内有位NLP大神，微信发朋友圈，把我的review意见截图发出来了，还说，遇到了一个负责的reviewer，还跑了他们提交的code并给出了相关意见。。。我看了这个朋友圈，也是心里一暖。
有一年，审查neurips的论文，5个reviewer，只有我一个给了7分，其他一律是3/4分的狂喷。我看了他们半天的表演，实在看不下去了，就是坚持我的观点。作者只对我写了几千字感谢的话，让我差点哭出来。顶会的一大问题在于，永远有流氓reviewer，不但自己打分低，还要“理直气壮”地“强暴”别的打分高的人，让别人屈从他的意志。。。我肯定是不屈服。我虽然没有足够的时间，回怼这样的reviewer，不过我从不改我的高分！！！
最后，咱们真的无法期待pc都能是公平公正的大神。。。一年审查50篇+，一般能花费5-10个小时审查一篇文章，已经是把自己的工作和休息的时间进行了充分的挤压了。。。因为这相当于1到2个月的工作量。我们都是自嘲：part-time researcher, full-time reviewer。。。我们自己的文章也是被千万次虐的。。。我们自己也需要时间写代码，看论文。。。这些都是义务劳动。。。
所以，“听其言，观其行”，不要“马列主义镜子找别人。。。”，您如果有更好的标准，请分享！大家都乐意学习的。咱们少些空谈，多些基于自己实践的经验分享，不好吗？
先说我个人的标准：
- 是否用了新的网络结构？
- 是否用了新的损失函数，激活函数，优化函数，---其他各种函数？
- 是否创造了新的数据集合（这个没啥争议，也不能算方法的novelty）；
- 是否是在已有若干方法的基础上，有新的”增删改“，而且背后的motivation，无论是理论上还是实验上都让review不好找吐槽的角度？
我记得审查过一个文章，被一个reviewer说，缺乏novelty，然后这个author很实诚地罗列了20篇author认为没有novelty但是被顶会接受的论文，里面居然还包括了resnet。。。我当时笑的泪都出来了。。。真实是大家对于Novelty的认知不在一个宇宙。。。不知道kaiming he看到别人拿自己的resnet去告诉reviewer说resnet没有novelty，他是不是要来句国骂？？哈哈
我记得有位诺奖得主说，他最想做的研究，是可以放到小学课本里面的研究。
说个主观的判断，80%以上的论文，会被简单遗忘。。。很多时候不是他们不够好，不够novelty，不够酷，而是物竞天择，只有不到20%的论文，你读了之后，才真正收到启发，要么直接follow，要么直接全部buy in，要么直接续写大作。
所以，10000篇投稿的aaai 2022这样的会议，把accept rate压缩到15%，也是可以理解的。。。。。。虽然这个论点会招骂。。。
最后，如果你自认为自己的论文足够novel，那可以：
1.直接扔arxiv；
2.开源
其他的，任何不事先开源的（包括我自己写的）论文，一直不开源的，novelty一律打折。