Multi-modal imaging is a key healthcare technology that is often underutilized due to costs associated with multiple separate scans. This limitation yields the need for synthesis of unacquired modalities from the subset of available modalities. In recent years, generative adversarial network (GAN) models with superior depiction of structural details have been established as state-of-the-art in numerous medical image synthesis tasks. GANs are characteristically based on convolutional neural network (CNN) backbones that perform local processing with compact filters. This inductive bias in turn compromises learning of contextual features. Here, we propose a novel generative adversarial approach for medical image synthesis, ResViT, to combine local precision of convolution operators with contextual sensitivity of vision transformers. ResViT employs a central bottleneck comprising novel aggregated residual transformer (ART) blocks that synergistically combine convolutional and transformer modules. Comprehensive demonstrations are performed for synthesizing missing sequences in multi-contrast MRI, and CT images from MRI. Our results indicate superiority of ResViT against competing methods in terms of qualitative observations and quantitative metrics.


翻译:多式成像是一种关键的保健技术,由于多种不同扫描的相关费用而往往没有得到充分利用。这一限制使得有必要从现有模式的子集中合成未获得的模式。近年来,在众多医学图像合成任务中,基因对抗网络(GAN)模型和结构细节的高级描述被确定为最先进的医学图像合成任务。GAN具有典型的基于利用紧凑过滤器进行本地处理的共生神经网络主干网(CNN)的特征。这种诱导偏差反过来会影响对背景特征的学习。在这里,我们提议对医学图像合成采用新型的基因对抗方法,ResViT, 将本地变异操作器的精度与视觉变异器的背景敏感度结合起来。ResViT使用一个中央瓶颈,由新型的集成残留变异器(ART)块组成,以协同方式将变异变器和变异变器模块结合起来。对多调MRI的缺失序列和CT图像进行合成综合演示。我们的结果表明,ResViT优于定性观察和定量计量的相互竞争方法。

1
下载
关闭预览

相关内容

专知会员服务
30+阅读 · 2021年6月12日
最新《Transformers模型》教程,64页ppt
专知会员服务
291+阅读 · 2020年11月26日
图像/视频去噪算法资源集锦
专知
17+阅读 · 2019年12月14日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【ECCV2018】24篇论文代码实现
专知
17+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Arxiv
0+阅读 · 2021年12月7日
VIP会员
相关VIP内容
专知会员服务
30+阅读 · 2021年6月12日
最新《Transformers模型》教程,64页ppt
专知会员服务
291+阅读 · 2020年11月26日
相关资讯
图像/视频去噪算法资源集锦
专知
17+阅读 · 2019年12月14日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【ECCV2018】24篇论文代码实现
专知
17+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Top
微信扫码咨询专知VIP会员