Medical image synthesis is an important topic for both clinical and research applications. Recently, diffusion models have become a leading approach in this area. Despite their strengths, many existing methods struggle with (1) limited generalizability that only work for specific body regions or voxel spacings, (2) slow inference, which is a common issue for diffusion models, and (3) weak alignment with input conditions, which is a critical issue for medical imaging. MAISI, a previously proposed framework, addresses generalizability issues but still suffers from slow inference and limited condition consistency. In this work, we present MAISI-v2, the first accelerated 3D medical image synthesis framework that integrates rectified flow to enable fast and high quality generation. To further enhance condition fidelity, we introduce a novel region-specific contrastive loss to enhance the sensitivity to region of interest. Our experiments show that MAISI-v2 can achieve SOTA image quality with $33 \times$ acceleration for latent diffusion model. We also conducted a downstream segmentation experiment to show that the synthetic images can be used for data augmentation. We release our code, training details, model weights, and a GUI demo to facilitate reproducibility and promote further development within the community.


翻译:医学图像合成在临床与研究应用中具有重要意义。近年来,扩散模型已成为该领域的主流方法。尽管其优势显著,现有方法仍普遍存在以下问题:(1) 泛化能力有限,仅适用于特定身体区域或体素间距;(2) 推理速度缓慢,这是扩散模型的常见缺陷;(3) 与输入条件的对齐性较弱,这在医学成像中尤为关键。先前提出的MAISI框架虽解决了泛化问题,但仍受限于推理速度慢和条件一致性不足。本研究提出MAISI-v2,首个集成整流流以实现快速高质量生成的加速三维医学图像合成框架。为提升条件保真度,我们引入一种新颖的区域特异性对比损失,以增强对感兴趣区域的敏感性。实验表明,MAISI-v2在潜空间扩散模型上可实现$33 \times$的加速,同时达到最先进的图像质量。我们进一步通过下游分割实验验证了合成图像可用于数据增强。为促进可复现性并推动社区发展,我们公开了代码、训练细节、模型权重及图形界面演示。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
专知会员服务
22+阅读 · 2021年8月20日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员