Annika Reinke,Minu D. Tizabi,Carole H. Sudre,Matthias Eisenmann,Tim Rädsch,Michael Baumgartner,Laura Acion,Michela Antonelli,Tal Arbel,Spyridon Bakas,Peter Bankhead,Arriel Benis,M. Jorge Cardoso,Veronika Cheplygina,Evangelia Christodoulou,Beth Cimini,Gary S. Collins,Keyvan Farahani,Bram van Ginneken,Ben Glocker,Patrick Godau,Fred Hamprecht,Daniel A. Hashimoto,Doreen Heckmann-Nötzel,Michael M. Hoffmann,Merel Huisman,Fabian Isensee,Pierre Jannin,Charles E. Kahn,Alexandros Karargyris,Alan Karthikesalingam,Bernhard Kainz,Emre Kavur,Hannes Kenngott,Jens Kleesiek,Thijs Kooi,Michal Kozubek,Anna Kreshuk,Tahsin Kurc,Bennett A. Landman,Geert Litjens,Amin Madani,Klaus Maier-Hein,Anne L. Martel,Peter Mattson,Erik Meijering,Bjoern Menze,David Moher,Karel G. M. Moons,Henning Müller,Brennan Nichyporuk,Felix Nickel,Jens Petersen,Gorkem Polat,Nasir Rajpoot,Mauricio Reyes,Nicola Rieke,Michael Riegler,Hassan Rivaz,Julio Saez-Rodriguez,Clarisa Sanchez Gutierrez,Julien Schroeter,Anindo Saha,Shravya Shetty,Maarten van Smeden,Bram Stieltjes,Ronald M. Summers,Abdel A. Taha,Sotirios A. Tsaftaris,Ben Van Calster,Gaël Varoquaux,Manuel Wiesenfarth,Ziv R. Yaniv,Annette Kopp-Schneider,Paul Jäger,Lena Maier-Hein

While the importance of automatic image analysis is continuously increasing, recent meta-research revealed major flaws with respect to algorithm validation. Performance metrics are particularly key for meaningful, objective, and transparent performance assessment and validation of the used automatic algorithms, but relatively little attention has been given to the practical pitfalls when using specific metrics for a given image analysis task. These are typically related to (1) the disregard of inherent metric properties, such as the behaviour in the presence of class imbalance or small target structures, (2) the disregard of inherent data set properties, such as the non-independence of the test cases, and (3) the disregard of the actual biomedical domain interest that the metrics should reflect. This living dynamically document has the purpose to illustrate important limitations of performance metrics commonly applied in the field of image analysis. In this context, it focuses on biomedical image analysis problems that can be phrased as image-level classification, semantic segmentation, instance segmentation, or object detection task. The current version is based on a Delphi process on metrics conducted by an international consortium of image analysis experts from more than 60 institutions worldwide.


翻译:虽然自动图像分析的重要性在不断增加,但最近的元研究揭示了算法验证方面的主要缺陷; 业绩计量是有意义、客观和透明的业绩评估以及用过的自动算法验证工作的关键,但对于使用特定图像分析任务的具体指标时的实际陷阱,注意的相对较少; 这些通常与下列因素有关:(1) 无视内在的计量特性,如阶级不平衡或目标结构小的情况下的行为;(2) 无视固有的数据集属性,如测试案例不独立;(3) 无视计量指标应反映的实际生物医学域域利益;这一动态文件的目的是说明在图像分析领域通常应用的业绩计量存在的重要局限性;在这方面,它侧重于生物医学图像分析问题,可称之为图像等级分类、语义分解、实例分解或目标检测任务; 目前的版本以来自世界各地60多个机构的国际图像分析专家联合会进行的关于指标的德尔菲进程为基础。

0
下载
关闭预览

相关内容

强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
3+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium8
中国图象图形学学会CSIG
0+阅读 · 2021年11月16日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium6
中国图象图形学学会CSIG
2+阅读 · 2021年11月12日
【ICIG2021】Latest News & Announcements of the Plenary Talk2
中国图象图形学学会CSIG
0+阅读 · 2021年11月2日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
【ICIG2021】Latest News & Announcements of the Industry Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Arxiv
12+阅读 · 2022年1月26日
Arxiv
15+阅读 · 2021年7月14日
Arxiv
20+阅读 · 2018年1月17日
Arxiv
11+阅读 · 2018年1月11日
VIP会员
相关资讯
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Latest News & Announcements of the Tutorial
中国图象图形学学会CSIG
3+阅读 · 2021年12月20日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium8
中国图象图形学学会CSIG
0+阅读 · 2021年11月16日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium6
中国图象图形学学会CSIG
2+阅读 · 2021年11月12日
【ICIG2021】Latest News & Announcements of the Plenary Talk2
中国图象图形学学会CSIG
0+阅读 · 2021年11月2日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
【ICIG2021】Latest News & Announcements of the Industry Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员