NeurIPS 2021论文公开评审被删除,Reddit网友猜测:观众太蠢,我决定隐藏讨论

10 月 19 日 极市平台
NeurIPS 2021论文公开评审被删除,Reddit网友猜测:观众太蠢,我决定隐藏讨论
↑ 点击 蓝字  关注极市平台

来源丨新智元
编辑丨极市平台

极市导读

 

今年NeurIPS 2021首次采用OpenReview进行评审,要求接收的论文公开他们的评审结果和讨论内容,但Reddit网友发现一些作者删除了他们和评审讨论的内容,引起网友们的无限遐想,甚至有人认为是商业机密,不便公开。Reddit网友表示,我看不懂,但我大受震撼。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

今年的盛会NeurIPS 2021 已经放榜,不知道你中了几篇?
 
与以往不同的是,今年NeurIPS 采用了OpenReview 审稿,也就是说审稿过程都是透明的,所有的审稿意见、评论和最终录取结果都是公开的。
 
对这个决定,网友们表示各有利弊,甚至有的作者怕这种方式引来公开处刑,在考虑更换论文进行投稿。
 
 
 
最近Reddit 上一个网友也发现一个问题,就是有的作者在NeurIPS 论文被接受以后,把所有的公开讨论内容给删掉了。
 
 
还拿了一篇论文举了一个例子,并表示不是针对谁,只是在座的各位。。这是他第一份发现的,并且在过去的几个月里这种情况的发生的频率很高。
 
对此他表示非常难以理解,这个操作的背后到底有什么意义?
 
因为ICLR 和 NeurIPS 都采用了OpenReview,所以这位网友推测ICLR 的作者删除可以认为是论文被拒掉了,所以删除掉相关评论,这篇论文在未来某天发表的时候相关文件没有那么多。
 
但为什么NeurIPS 的论文都已经被接受了,还删除掉相关讨论呢?
 
并且OpenReview 有一个权限设置,作者可以可以选择让评审之外的所有人都看不到他们的原始回复。
 
 
但同样的问题也适用于这种操作:为什么作者需要隐藏他们的回复,特别是在评论是公开的情况下?
 
对此,网友也是众说纷纭,有人表示,我还没有这样做,但可以理解有人会这么做的一个原因。评论者有时要求进行无用或误导性的比较和实验。
 
如果这些内容成为人们在OpenReview上看到的第一件事可能对论文的理解上有误导,最好是在文章中有适当的上下文和解释。
 
对于「无用或误导性的比较和实验」,有人表示,不能同意更多。这些评审有时候好像就是要发帖挑衅一样,他们想表现得很聪明,总想问或者挑点什么错误出来,所以他们只是随便浏览一下论文,并且随意发表评论,这对所有人来说都毫无帮助。
 
 
还有网友表示,一场富有成效的讨论需要所有参与者在思想上达成一致,因此,删除这些讨论的一个可能原因是,你不能保证普通的观众在智力上能够理解讨论的内容。不过,这只是一个一般性的结论,答主不知道它是否适用于OpenReview讨论。
 
还有人认为是为了减少接触。如果曝光太多的话,全世界都能看到这些论文在胡说八道。此外,学术界充满了太多自私的人,他们不希望其他人从他们与评审的讨论中受益,即获取想法。
 
从工业的角度而非从学术的角度来看,这个操作是有意义的。如果研究人员计划将他们的研究成果商业化,那就需要给他们自己一些时间来领先于其他人。

当构建一个系统时,有很多组件和变量,你可以在论文中列出它们,但你不一定要解释你对它们所做的调整以获得结果。这样做以后,结果仍然可以得到验证,尽管这样做需要更长的时间来复现。
 
 
因此,如果一家企业看了你的论文,但因为这是一个公共领域,所以仍然有更多的时间将你的算法商业化,并将其推向生产。除此之外,想不出一篇被接受的论文的作者需要取消与评论员的讨论的理由。不过,他也同意对一篇被拒绝的论文进行讨论。
 
OpenReview 带来的「反腐败」作用是很明显的,例如有网友分享了看到一篇因为重复投稿被公开处刑的文章。
 
 
也有人表示OpenReview 这种方式会促进作者变得实诚,更好地改进论文。
 
 
除此之外,OpenReview 也会促使评审人员在措辞时更加慎重,不能无故以各种荒谬理由来拒稿。
 
 
在今年NeurIPS 2021公告中认为,OpenReview提供了高度可定制化的接口,并且可以很容易地适配会议规模的增长。OpenReivew系统提供了很多改进项,例如:可自行管理的用户配置、利益冲突(COI)声明以及改进的程序委员交互方式。
 
 
在默认的情况下,被拒绝的投稿不会被公开。但在 NeurIPS 2021 上,被拒论文的作者可以在通知截止日期后的两周内选择公开其匿名化的论文,并在 OpenReview 中公开发表评论。

「我们认为这是最好的折中方案,因为它还可以让初级研究人员避免因为有害的公共批评而遭受打击。」



参考资料:

https://www.reddit.com/r/MachineLearning/comments/pyrjca/d_why_do_authors_nuke_their_openreview/

如果觉得有用,就请分享到朋友圈吧!

△点击卡片关注极市平台,获取 最新CV干货

公众号后台回复“CVPR21检测”获取CVPR2021目标检测论文下载~


极市干货
神经网络: 视觉神经网络模型优秀开源工作:timm库使用方法和最新代码解读
技术综述: 综述:神经网络中 Normalization 的发展历程 CNN轻量化模型及其设计原则综述
算法技巧(trick): 8点PyTorch提速技巧汇总 图像分类算法优化技巧


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~



觉得有用麻烦给个在看啦~   
登录查看更多
0

相关内容

最近ICLR 2022初审结果在官网公布,今年ICLR一共收到了3407篇论文,主题涉及图神经网络,强化学习,计算机视觉等领域。

ICLR,全称为International Conference on Learning Representations(国际学习表征会议),2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。 ICLR成立至今仅七年,但它已被学术研究者们广泛认可,被认为是“深度学习领域的顶级会议”。 ICLR 采用公开评审(Open Review )机制。所有提交的论文都会公开,并且接受所有同行的评审及提问,任何学者都可或匿名或实名地评价论文。而在初审公开之后,论文作者也能够对论文进行调整和修改以及进行Rebuttal。

https://github.com/kashif/ICLR2021-OpenReviewData/tree/iclr2022

ICLR 2022 研究频数最高的50个关键词

评分分布

平均4.917

The distribution of reviewer ratings centers around 5 (mean:4.917).

得分最高的30篇论文

openview网址: https://openreview.net/group?id=ICLR.cc/2022/Conference

成为VIP会员查看完整内容
0
23

作为计算机视觉领域三大会议之一的 ICCV(IEEE International Conference on Computer Vision)每年都会吸引众多 AI 研究人员参会。ICCV 2021 原定的主办地点是加拿大蒙特利尔,由于疫情的关系已改为线上举行,时间定为 10 月 11 到 17 日。

今年的论文评审过程中有 4129 名审稿人,其中包括仅审 1 篇论文的「紧急审稿人」,以及完成 9 篇审稿的资深人士。另外还有 233 名区域主席负责审查审稿评价的内容和完整性。

一个多月前,投稿 ICCV 2021 的小伙伴纷纷收到了论文评审结果。根据大会统计数据,ICCV 2021 共接收了 6236 篇有效论文投稿,在首轮 desk reject 之后还有 6152 篇。最终这些论文收到了 20195 个评审反馈,其中 4501 篇论文收到了 3 条反馈,1575 篇收到了 4 条反馈,还有两篇论文集齐了 7 个审稿意见,一篇论文更是收到了多达 8 个审稿意见。随后论文作者开始了 rebuttal。

今日,ICCV 2021 官方放出了接收论文的列表,在 6236 篇提交论文中,有 1617 篇论文被接收,接收率约为 25.9%。他们表示,Oral 和 Poster 论文以及所有论文的 final review 和 meta review 意见都已经可以在微软的 CMT 系统上查看。

成为VIP会员查看完整内容
0
20

最近ICLR 2021初审结果在官网公布,本次ICLR 2021一共有3013篇论文提交,其中有856篇论文是来自NeurIPS 2020 Rejection 之后重新提交的。

ICLR,全称为International Conference on Learning Representations(国际学习表征会议),2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。

ICLR成立至今仅七年,但它已被学术研究者们广泛认可,被认为是“深度学习领域的顶级会议”。 ICLR 采用公开评审(Open Review )机制。所有提交的论文都会公开,并且接受所有同行的评审及提问,任何学者都可或匿名或实名地评价论文。而在初审公开之后,论文作者也能够对论文进行调整和修改以及进行Rebuttal。

成为VIP会员查看完整内容
0
35
小贴士
相关VIP内容
专知会员服务
20+阅读 · 7月23日
专知会员服务
35+阅读 · 2020年11月13日
专知会员服务
110+阅读 · 2020年10月8日
专知会员服务
57+阅读 · 2020年10月6日
专知会员服务
45+阅读 · 2020年10月5日
专知会员服务
76+阅读 · 2020年6月15日
相关论文
Ricardo Muñoz-Cancino,Cristián Bravo,Sebastián A. Ríos,Manuel Graña
0+阅读 · 11月26日
Hortense Fong,Vineet Kumar,Anay Mehrotra,Nisheeth K. Vishnoi
0+阅读 · 11月24日
Chongjun Ouyang,Sheng Wu,Chunxiao Jiang,Yuanwei Liu,Julian Cheng,Hongwen Yang
0+阅读 · 11月24日
Lu Cheng,Ruocheng Guo,Kai Shu,Huan Liu
4+阅读 · 7月14日
Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation
Xueyi Li,Tianfei Zhou,Jianwu Li,Yi Zhou,Zhaoxiang Zhang
4+阅读 · 2020年12月9日
Joseph Y. Halpern
5+阅读 · 2019年9月30日
Ting-Ting Liang,Satoshi Tsutsui,Liangcai Gao,Jing-Jing Lu,Mengyan Sun
4+阅读 · 2018年6月1日
Yuxin Wu,Kaiming He
7+阅读 · 2018年3月22日
Abhinav Moudgil,Vineet Gandhi
7+阅读 · 2017年12月28日
Top