ICLR 2023论文得分排名出炉!多篇论文竟同时拿到1分和10分

2022 年 11 月 8 日 新智元




  新智元报道  

来源:计算机会议投稿
编辑:Aeneas 好困
【新智元导读】ICLR2023审稿意见已出炉,你的结果如何?
人工智能领域综合顶级会议ICLR2023( International Conference on Learning Representations)审稿意见已出炉。ICLR的审稿分数和意见全部在OpenReview平台上公开,有网友爬取了本轮审稿的论文得分排名,链接如下:
https://docs.google.com/spreadsheets/d/1INZI9epkfBkPOlKuJFaffUCOKDns87Iqg4zovHnf-zs/htmlview#gid=625873159
该链接公布了4848份审稿分数统计。大部分论文的审稿人数量为3-5人,每名审稿人给每篇论文的可评分数选项为1, 3, 5, 6, 8, 10,也就是说审稿人不能给论文打2分、4分、7分或9分。

分数分布概况

ICLR2022年录用率为32.3%(1095/3391),2021年录用率为28.7%(860/2997)。

若按照2022年的录用率32.3%来看,今年卡在前32.3%的论文有1556篇,最低均分为5.50分。若按照2022年的录用数1095篇来看,今年前1095篇论文占总量的前22.6%,最低均分为5.75分。尼谟认为均分在5.50分及以上的同学都值得认真rebuttal。ICLR在2021年rebuttal前后总平均分提高了0.21,其中72%的论文分数没有变化。

以下为各分数详细位次与对应比例:

8.67分       位次1      0.02%

8.50分       位次3      0.06% 

8.25分       位次7      0.14%

8.00分       位次8      0.17%

7.75分       位次42    0.87%

7.50分       位次50    1.03%

7.25分       位次121   2.50%

7.00分       位次152   3.14%

6.75分       位次238   4.91%

6.50分       位次386   7.96%

6.25分       位次576   11.18%

6.00分       位次744   15.35%

5.75分       位次1010  20.83%

5.50分       位次1364   28.14%

5.25分       位次1840   37.95%

5.00分       位次2098    43.28%

4.75分       位次2549    52.58%

4.50分       位次3041    62.73%

4.25分       位次3439    70.94%

4.00分       位次3682    75.95%

分数标准差分布概况

1. 标准差大于3  9篇 占比0.19%
只有9篇论文标准差大于3,其中标准差最高的得分为[1;3;10],标准差高达3.859。
2. 标准差2-3(前开后闭下同)476篇 占比9.82%
标准差2.5的得分范例:[3;8;8;3]、[1;6;1;6]
标准差2.5的得分范例:[5;8;1;1]、[3;5;10]
3. 标准差1.5-2  500篇 占比10.31%
标准差2.0的得分范例:[3;3;8;3;3]
4. 标准差1-1.5  1747篇 占比36.0%
标准差1.5的得分范例:[6;3;6;3]、[8;8;5;5]。
5. 标准差0-1  1760篇 占比36.3%
标准差1.0的得分范例:[8;8;6;6]、[5;5;3;3],标准差1以下的论文,说明审稿人意见大体一致。
6. 标准差0  356篇 占比 7.3%
共有356篇论文分数标准差为0,也就是说所有审稿人意见完全一致,其中26篇全为8,占比7.3%;49篇全为6,占比13.8%;121篇全为5,占比34.0%;154篇全为3,占比43.3%;6篇全为1,占比1.7%。可以看到标准差为0的集中在3分和5分,占比达到了77.3%。
总体上来说,标准差在1.5以下的文章共有3863篇,占比79.7%,分差较小的占大多数。

一些诡异的得分情况


评分中也出现了一些比较诡异的情况。比如,有3篇论文评分同时出现了1分和10分:

1. Breaking the Curse of Dimensionality for Parametric Elliptic PDEs

分数:[1;3;10]

论文链接:https://openreview.net/pdf?id=3nfMmcditWu

2. Neural Decoding of Visual Imagery via Hierarchical Variational Autoencoders

分数:[3;6;1;10]

论文链接:https://openreview.net/pdf?id=TM9jOSaIzN

3. Generalizable Multi-Relational Graph Representation Learning: A Message Intervention Approach

分数:[1;10;3;3;3]

论文链接:https://openreview.net/pdf?id=xOPd5QO_5RT


交流群内分数统计情况

「计算机会议投稿」于22.11.5上午在轻松参会ICLR2023群内发起了ICLR Rebuttal得分匿名投票,群内共560名群友,共计137名群友投票。

其中共有2名群友8分以上(不含,下同),全球仅有7人均分>8分,可以说是非常牛了。

14位群友6.5分以上,群投票占比10.21%,实际占比(OpenReview上所有投稿的分数占比)8.0%。

36位群友6分以上,群投票占比26.3%,实际占比15.3%。

57位群友5.5分以上,群投票占比41.6%,实际占比28.1%。

可以看出6分及5.5分以上群投票占比明显高于实际占比。由此可以大致外推出一个结论,即,各个学术会议在rebuttal阶段,投稿交流群内的投票得分统计总体会比实际分数分布要虚高一些,尼谟认为,其原因是,通常得分高的人比得分低的人更愿意积极参与此类投票活动。所以大家在投稿其他会议时,也不要在交流群内看到分数投票统计结果就泄气了。

投票具体分数分布如下:

觉得录用希望不大、放弃治疗的同学,近期可考虑转投以下会议(按照截稿时间最早到最晚排序):

ICME2023

录用率:2022年29%

CCF分级:B

截稿时间:22.12.11

录用通知时间:23.3.12

官网链接:https://www.2023.ieeeicme.org/

征稿范围:

3D multimedia, AR/VR and immersive media

Emerging multimedia applications and technologies

Multimedia analysis and understanding

Multimedia communications, networking and mobility

Multimedia databases and mining

Multimedia quality assessment and metrics

Multimedia security, privacy and forensics

Multimedia standards, trends and related research

Multi-modal media computing, interaction and human machine

Social media analysis and applications

Speech/audio processing

Image/video processing

PAKDD2023

录用率:2022年19.3%(121/627)2021年20.4%(157/768)

CCF分级:C

截稿时间:22.11.24

录用时间:23.1.24

官网:https://pakdd2023.org/

征稿范围:

PAKDD2023 welcomes high-quality, original, and previously unpublished submissions in the theories, technologies, and applications on all aspects of knowledge discovery and data mining. Topics of relevance for the conference include, but not limited to the following.

Methods and algorithms:

Anomaly and outlier detection, Association rule, Classification, Clustering, Data mining pipelines, Deep learning, Dimensionality detection and feature selection, Ethics and fairness, Graphs and networks, Interpretability and explainability, Kernel methods, Matrices and tensors, Online and streaming algorithms, Parallel and distributed mining, Probabilistic models and statistical inference, Regression, Reinforcement learning, Relational learning, Security and privacy, Semi-supervised and unsupervised learning, Theoretical foundations, Transfer learning and meta learning, and Visualization and user interface.

Applications:

Big data, Computational Advertising, Financial data, Information retrieval and search, Internet of Things, Intrusion and fraud detection, Medical and biological data, Multimedia and multimodal data, Recommender systems, Robotics, Scientific data, Social network analysis, Spatio-temporal data, Texts, web, social media, and Time-series and streaming data.

ACL2023

往年录用率:2021年24.5% (571/2327)

CCF分级:A

截稿时间:直接投递(非ARR)通道摘要注册截止时间23.01.13,论文提交截止时间23.1.20

录用通知时间:23.5.1

官网链接:https://2023.aclweb.org/

征稿范围:

Computational Social Science and Cultural Analytics

Dialogue and Interactive Systems

Discourse and Pragmatics

Ethics and NLP

Generation

Information Extraction

Information Retrieval and Text Mining

Interpretability and Analysis of Models for NLP

Language Grounding to Vision, Robotics and Beyond

Multilingualism and Language Contact: Code-switching, Representation Learning, Cross-lingual transfer

Linguistic Theories, Cognitive Modeling, and Psycholinguistics

Machine Learning for NLP

Machine Translation

NLP Applications

Phonology, Morphology, and Word Segmentation

Question Answering

Resources and Evaluation

Semantics: Lexical

Semantics: Sentence-level Semantics, Textual Inference, and Other Areas

Sentiment Analysis, Stylistic Analysis, and Argument Mining

Speech and Multimodality

Summarization

Syntax: Tagging, Chunking and Parsing

Theme Track

ICDAR2023

录用率:2017年投稿数409篇,Oral论文录取率13%,Poster论文录取率39%。

CCF分级:C

截稿时间:22.1.15(23:59 AOE)

录用时间:23.3.26

官网:https://pakdd2023.org/

征稿范围:

Document image processing
Physical and logical layout analysis
Text and symbol recognition
Handwriting recognition
Document analysis systems
Document classification
Indexing and retrieval of documents
Document synthesis
Extracting document semantics
NLP for document understanding
Office automation
Graphics recognition
Human document interaction
Document Representation Modeling

Structured document generation

Multimedia document analysis

Mobile text recognition
Pen-based document analysis
Scene text detection and recognition
Recognition of tables and formulas
Historical document analysis
Signature verification
Document summarization and translation
Document forensics and provenance
Medical document analysis
Document analysis for social good
Document analysis for literature search
Gold-standard benchmarks and datasets




登录查看更多
0

相关内容

标准差(Standard Deviation),在概率统计中最常使用作为统计分布程度(statistical dispersion)上的测量。标准差定义为方差的算术平方根,反映组内个体间的离散程度。测量到分布程度的结果,原则上具有两种性质:一个总量的标准差或一个随机变量的标准差,及一个子集合样品数的标准差之间,有所差别。标准差的观念是由卡尔·皮尔逊(Karl Pearson)引入到统计中。
ICLR 2022接受论文列表出炉!1095 篇论文都在这了!
专知会员服务
75+阅读 · 2022年1月30日
AAAI 2022接收论文列表发布,1349篇论文都在这了!
专知会员服务
144+阅读 · 2022年1月11日
ICLR 2022 评审出炉!来看看得分最高8份的31篇论文是什么!
ICCV2021接受论文!
专知会员服务
26+阅读 · 2021年7月23日
专知会员服务
91+阅读 · 2021年6月3日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
ICLR 2022提前放榜!被拒理由遭吐槽...
CVer
1+阅读 · 2022年1月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年4月30日
Arxiv
58+阅读 · 2021年11月15日
Arxiv
10+阅读 · 2018年2月17日
VIP会员
相关VIP内容
ICLR 2022接受论文列表出炉!1095 篇论文都在这了!
专知会员服务
75+阅读 · 2022年1月30日
AAAI 2022接收论文列表发布,1349篇论文都在这了!
专知会员服务
144+阅读 · 2022年1月11日
ICLR 2022 评审出炉!来看看得分最高8份的31篇论文是什么!
ICCV2021接受论文!
专知会员服务
26+阅读 · 2021年7月23日
专知会员服务
91+阅读 · 2021年6月3日
ICLR 2021 评审出炉!来看看得分最高的50篇论文是什么!
专知会员服务
40+阅读 · 2020年11月13日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年4月30日
Top
微信扫码咨询专知VIP会员