We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a cycle-consistency loss. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients. Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at: https://github.com/ristea/cycle-transformer.


翻译:我们提出一种新颖的方法,将未受光化对比计算断层成色仪(CT)扫描转换为非受光化的CT扫描和反向扫描。 解决这一任务有两个重要应用:(一) 自动为那些注射反光物质不是一种选择的病人生成对比CT扫描, (二) 通过减少登记前对比物质引起的差异,加强对比与非矛盾CT之间的匹配。 我们的方法基于循环一致的基因式对立对立变压变异器,用于短期的CyTran。 由于循环一致性损失的整合,我们的神经模型可以在未受光化的图像上接受培训。 为了处理高分辨率图像,我们设计了一个基于进化和多头关注层的混合结构。 此外,我们引入了一个新型数据集,Coltea-Lung-CT-100W, 包含从100名女性患者收集的3D型三重线式肺动样样样样样的肺动变异变图(共37,290张图像 ) 。 每部扫描都包含三个阶段(非受光谱、 早期的门户网站), 将我们使用的C- 循环循环、 和最新版本的图像转换, 将我们的数据转换到最新的图像显示我们的数据转换方法。

0
下载
关闭预览

相关内容

【Tutorial】计算机视觉中的Transformer,98页ppt
专知会员服务
143+阅读 · 2021年10月25日
专知会员服务
88+阅读 · 2021年6月29日
专知会员服务
44+阅读 · 2021年6月1日
【CVPR2021】GAN人脸预训练模型
专知会员服务
23+阅读 · 2021年4月10日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
35+阅读 · 2020年3月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
2018机器学习开源资源盘点
专知
6+阅读 · 2019年2月2日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
已删除
将门创投
3+阅读 · 2017年10月12日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
6+阅读 · 2018年2月26日
VIP会员
相关VIP内容
【Tutorial】计算机视觉中的Transformer,98页ppt
专知会员服务
143+阅读 · 2021年10月25日
专知会员服务
88+阅读 · 2021年6月29日
专知会员服务
44+阅读 · 2021年6月1日
【CVPR2021】GAN人脸预训练模型
专知会员服务
23+阅读 · 2021年4月10日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
35+阅读 · 2020年3月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Top
微信扫码咨询专知VIP会员