We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance the alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a multi-level cycle-consistency loss. Aside from the standard cycle-consistency loss applied at the image level, we propose to apply additional cycle-consistency losses between intermediate feature representations, which enforces the model to be cycle-consistent at multiple representations levels, leading to superior results. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 100 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients (there is one examination per patient). Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at https://github.com/ristea/cycle-transformer.


翻译:我们提出了一种新的方法,将非配对的对比度计算机断层扫描(CT)转换为非对比度CT扫描,反之亦然。解决这一问题有两个重要应用:(i)自动为注射对比剂不可行的患者生成对比CT扫描,(ii)通过减少对比剂注射造成的差异来增强对比度和非对比度CT之间的对齐性能。我们的方法基于循环一致性生成对抗卷积变换器,简称为CyTran。我们的神经模型可以训练未配对的图像,因为它集成了多级循环一致性损失。除了在图像级别应用标准循环一致性损失之外,我们建议在中间特征表示之间应用额外的循环一致性损失,这使得模型在多个表示级别上保持循环一致性,从而得到优秀的结果。为了处理高分辨率图像,我们设计了一个基于卷积和多头注意力层的混合架构。此外,我们还介绍了一个新的数据集,Coltea-Lung-CT-100W,其中包含100个女性患者(每个患者一次检查)收集的100个3D三相肺部CT扫描(总共有37,290个图像)。每个扫描包含三个阶段(非对比度,早期门脉静脉和晚期动脉),允许我们进行实验,以将我们的新方法与图像风格转移的最新方法进行比较。我们的实证结果表明,CyTran优于所有竞争方法。此外,我们展示了CyTran可以作为一个改进最先进的医学图像对齐方法的初步步骤。我们将我们的新模型和数据集作为开源发布在https://github.com/ristea/cycle-transformer。

0
下载
关闭预览

相关内容

【AAAI2023】对比掩码自动编码器的自监督视频哈希
专知会员服务
14+阅读 · 2022年11月25日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月22日
Arxiv
0+阅读 · 2023年5月18日
Arxiv
14+阅读 · 2021年3月10日
VIP会员
相关VIP内容
【AAAI2023】对比掩码自动编码器的自监督视频哈希
专知会员服务
14+阅读 · 2022年11月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员