Ultrasound (US) is one of the most widely used medical imaging modalities, thanks to its low cost, portability, real-time feedback, and absence of ionizing radiation. However, US image interpretation remains highly operator-dependent and varies significantly across anatomical regions, acquisition protocols, and device types. These variations, along with unique challenges such as speckle, low contrast, and limited standardized annotations, hinder the development of generalizable, label-efficient ultrasound AI models. In this paper, we propose OpenUS, the first reproducible, open-source ultrasound foundation model built on a large collection of public data. OpenUS employs a vision Mamba backbone, capturing both local and global long-range dependencies across the image. To extract rich features during pre-training, we introduce a novel self-adaptive masking framework that combines contrastive learning with masked image modeling. This strategy integrates the teacher's attention map with student reconstruction loss, adaptively refining clinically-relevant masking to enhance pre-training effectiveness. OpenUS also applies a dynamic learning schedule to progressively adjust the difficulty of the pre-training process. To develop the foundation model, we compile the largest to-date public ultrasound dataset comprising over 308K images from 42 publicly available datasets, covering diverse anatomical regions, institutions, imaging devices, and disease types. Our pre-trained OpenUS model can be easily adapted to specific downstream tasks by serving as a backbone for label-efficient fine-tuning. Code is available at https://github.com/XZheng0427/OpenUS.


翻译:超声(US)因其低成本、便携性、实时反馈和无电离辐射等优点,成为应用最广泛的医学成像模态之一。然而,超声图像解读仍高度依赖操作者,且在不同解剖区域、采集协议和设备类型之间存在显著差异。这些变异,连同斑点噪声、低对比度和标准化标注有限等独特挑战,阻碍了可泛化、标签高效的超声人工智能模型的发展。本文提出OpenUS,这是首个基于大规模公共数据构建的可复现、开源的超声基础模型。OpenUS采用视觉Mamba骨干网络,能够捕捉图像中的局部和全局长程依赖关系。为在预训练中提取丰富特征,我们引入了一种新颖的自适应掩码框架,将对比学习与掩码图像建模相结合。该策略将教师注意力图与学生重建损失相整合,自适应地优化临床相关掩码以提升预训练效果。OpenUS还应用动态学习调度策略,逐步调整预训练过程的难度。为开发该基础模型,我们整合了迄今最大的公共超声数据集,包含来自42个公开数据集的超过308K张图像,涵盖多样化的解剖区域、医疗机构、成像设备及疾病类型。预训练的OpenUS模型可作为骨干网络,通过标签高效微调轻松适配特定下游任务。代码发布于https://github.com/XZheng0427/OpenUS。

0
下载
关闭预览

相关内容

国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员