Background and objective: Self-supervised learning is rapidly advancing computer-aided diagnosis in the medical field. Masked image modeling (MIM) is one of the self-supervised learning methods that masks a subset of input pixels and attempts to predict the masked pixels. Traditional MIM methods often employ a random masking strategy. In comparison to ordinary images, medical images often have a small region of interest for disease detection. Consequently, we focus on fixing the problem in this work, which is evaluated by automatic COVID-19 identification. Methods: In this study, we propose a novel region-guided masked image modeling method (RGMIM) for COVID-19 detection in this paper. In our method, we devise a new masking strategy that employed lung mask information to identify valid regions to learn more useful information for COVID-19 detection. The proposed method was contrasted with five self-supervised learning techniques (MAE, SKD, Cross, BYOL, and, SimSiam). We present a quantitative evaluation of open COVID-19 CXR datasets as well as masking ratio hyperparameter studies. Results: When using the entire training set, RGMIM outperformed other comparable methods, achieving 0.962 detection accuracy. Specifically, RGMIM significantly improved COVID-19 detection in small data volumes, such as 5% and 10% of the training set (846 and 1,693 images) compared to other methods, and achieved 0.957 detection accuracy even when only 50% of the training set was used. Conclusions: RGMIM can mask more valid lung-related regions, facilitating the learning of discriminative representations and the subsequent high-accuracy COVID-19 detection. RGMIM outperforms other state-of-the-art self-supervised learning methods in experiments, particularly when limited training data is used.


翻译:背景和目的:自学习深度学习方法正在快速推进医学领域的计算机辅助诊断。遮罩图像建模(MIM)是一种自学习方法,它将一部分输入的像素掩盖(遮罩),然后尝试预测被遮罩的像素。传统的MIM方法通常采用随机的掩模策略。与普通图像相比,医学图像通常具有用于疾病检测的小区域。因此,在这项研究中,我们专注于解决这个问题,并通过自动COVID-19识别进行评估。方法:在本研究中,我们提出了一种新的区域指导的遮罩图像建模方法(RGMIM),用于COVID-19检测。在我们的方法中,我们设计了一种新的掩模策略,利用肺部掩码信息来识别有效的区域,以学习更有用的信息用于COVID-19检测。提出的方法与五种自学习深度学习方法(MAE,SKD,Cross,BYOL和SimSiam)进行对比。我们对开放的COVID-19 CXR数据集进行了定量评估,同时进行了掩模比率超参数研究。结果:当使用整个训练集时,RGMIM在COVID-19检测方面表现优异,达到了0.962的检测准确率。具体而言,在小数据量(例如846和1,693张图像的5%和10%)中,RGMIM相比其他方法显着提高了COVID-19检测的准确性,并在仅使用训练集的50%时实现了0.957的检测准确率。结论:RGMIM可以掩盖更多有效的与肺部相关的区域,便于学习区分性表示,并进一步实现高准确性的COVID-19检测。在实验证明,RGMIM在使用有限的训练数据时优于其他最先进的自学习深度学习方法。

0
下载
关闭预览

相关内容

【CVPR2022】弱监督语义分割的类重新激活图
专知会员服务
16+阅读 · 2022年3月7日
专知会员服务
42+阅读 · 2021年8月20日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
65+阅读 · 2020年10月20日
YOLO简史
计算机视觉life
27+阅读 · 2019年3月7日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
自适应注意力机制在Image Caption中的应用
PaperWeekly
10+阅读 · 2018年5月10日
从R-CNN到Mask R-CNN!
全球人工智能
17+阅读 · 2017年11月13日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
VIP会员
相关VIP内容
【CVPR2022】弱监督语义分割的类重新激活图
专知会员服务
16+阅读 · 2022年3月7日
专知会员服务
42+阅读 · 2021年8月20日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
65+阅读 · 2020年10月20日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
5+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员