MRI synthesis promises to mitigate the challenge of missing MRI modality in clinical practice. Diffusion model has emerged as an effective technique for image synthesis by modelling complex and variable data distributions. However, most diffusion-based MRI synthesis models are using a single modality. As they operate in the original image domain, they are memory-intensive and less feasible for multi-modal synthesis. Moreover, they often fail to preserve the anatomical structure in MRI. Further, balancing the multiple conditions from multi-modal MRI inputs is crucial for multi-modal synthesis. Here, we propose the first diffusion-based multi-modality MRI synthesis model, namely Conditioned Latent Diffusion Model (CoLa-Diff). To reduce memory consumption, we design CoLa-Diff to operate in the latent space. We propose a novel network architecture, e.g., similar cooperative filtering, to solve the possible compression and noise in latent space. To better maintain the anatomical structure, brain region masks are introduced as the priors of density distributions to guide diffusion process. We further present auto-weight adaptation to employ multi-modal information effectively. Our experiments demonstrate that CoLa-Diff outperforms other state-of-the-art MRI synthesis methods, promising to serve as an effective tool for multi-modal MRI synthesis.


翻译:MRI合成承诺缓解临床实践中缺失MRI模态的挑战。扩散模型已成为一种有效的图像合成技术,通过建模复杂和可变的数据分布。然而,大多数基于扩散的MRI合成模型是使用单一模态的。由于它们在原始图像域中运作,因此它们具有记忆密集性,对于多模态合成来说不太可行。此外,它们经常无法保留MRI中的解剖结构。而且,平衡来自多模态MRI输入的多个条件对于多模态合成非常重要。在这里,我们提出了第一个基于扩散的多模态MRI合成模型,即条件潜在扩散模型(CoLa-Diff)。为了减少内存消耗,我们设计了CoLa-Diff在潜在空间中运行。我们提出了一种新颖的网络架构,例如协同过滤,来解决潜在空间中可能存在的压缩和噪声问题。为了更好地维护解剖结构,我们引入了脑区域掩模作为密度分布的先验,以引导扩散过程。我们进一步提供自动权重适应,以有效地使用多模态信息。我们的实验表明,CoLa-Diff优于其他最先进的MRI合成方法,有望成为多模态MRI合成的有效工具。

2
下载
关闭预览

相关内容

百篇论文纵览大型语言模型最新研究进展
专知会员服务
67+阅读 · 2023年3月31日
【AAAI2023】用于复杂场景图像合成的特征金字塔扩散模型
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
44+阅读 · 2022年9月6日
VIP会员
相关VIP内容
百篇论文纵览大型语言模型最新研究进展
专知会员服务
67+阅读 · 2023年3月31日
【AAAI2023】用于复杂场景图像合成的特征金字塔扩散模型
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员