【剑桥博士论文】深度神经网络的医学图像超分辨率，214页pdf

超分辨率在医学成像中起着至关重要的作用，因为它提供了一种在不增加额外获取成本的情况下实现高空间分辨率的替代方法。在过去的几十年中，深度神经网络的迅速发展确保了高重构保真度和逼真的超分辨率图像生成。然而，在医学领域仍然存在挑战，这需要新的网络架构、训练技巧和SR图像评估技术。本论文专注于对各种具有挑战性放大比例的医学图像进行监督单图像超分辨率任务的主干网络。除了整合为自然图像设计的广泛方法外，我还在基于卷积神经网络、生成对抗网络和视觉变换器的端到端框架中探讨渐进学习、对抗性学习和元学习，以实现稳健的医学图像超分辨率。除了一般的图像质量评估外，还实施了针对特定任务的客观和主观评价指标，以进行全面的比较。具体而言，所提出的方法包含三个方向，实现了在多种医学图像模式上的最先进性能。

首先，我在具有挑战性放大比例（即x4）的超分辨率任务中实施渐进和对抗性学习，以产生感知逼真的纹理。我提出了一个基于CNN的多尺度超分辨率图像生成器，将复杂的映射问题分解为更简单的子问题，以避免过度平滑结构信息并在超分辨率图像中引入非逼真的高频纹理。此外，它还涉及到一个以病变为中心的训练策略和一个基于Wasserstein距离的高级对抗性损失，以实现更高效和稳定的训练。这种提出的方法显著提高了生成图像的感知质量，在大脑和心脏磁共振图像的实验中实现了与经验丰富的放射科医生的地面真实高分辨率图像相当的主观分数。它在2019年竞争了医学图像超分辨率的最先进的感知质量，并成为基于GAN的医学图像研究的先驱，具有持久的影响。

其次，我将元学习和迁移学习引入到GANs中，以实现具有任意比例（例如（1,4]）的高效和稳健的医学图像超分辨率。在后上采样框架中，我实现了一个基于EDSR的轻量级网络，用于高效的低分辨率特征提取，以及一个用于无尺度特征图上采样的权重预测模块。与现有的SISR网络相比，该框架支持非整数放大，没有预处理/后处理的不良影响。具体而言，这种方法具有比SOTA方法少得多的参数，实现了相当的重构精度和客观感知质量性能。此外，我还将一个医学图像数据集（即大脑MRI）的预训练SR模型稳健地迁移到各种新的医学模式（例如胸部CT和心脏MR）上，只需进行少量的微调步骤。此外，还进行了详尽的消融研究，以讨论感知-失真权衡，并说明残余块连接、超参数、损失组件和对抗性损失变体对医学图像超分辨率性能的影响。

最后，我提出了一个具有残余密集连接和局部特征融合的高效视觉变换器，以实现医学模式的优越单图像超分辨率性能。由于信息流的改进，这种CNN-变换器混合模型具有更少的训练计算要求和先进的表示能力。同时，我实施了一个具有手动控制的通用感知损失，以通过结合医学图像分割的先验知识来改善所需的图像质量。与四个公共医学图像数据集上的最先进方法相比，所提出的方法实现了七种模式中六种模式的最佳PSNR分数，参数仅为SwinIR（最近的SOTA方法）的38％。另一方面，基于分割的感知损失平均增加了+0.14 dB PSNR，用于流行的超分辨率网络，无需额外的训练成本。此外，我还讨论了视觉变换器在CNN和GAN之上表现出色的潜在因素，以及在全面的消融研究中网络和损失函数组件的影响。

总之，这篇论文代表了我在应用深度神经网络进行稳健的医学图像超分辨率任务方面的研究贡献，包括高效的网络架构、广泛适用的训练技术和具有临床意义的图像质量评估。在出版时，这些提出的方法在各种公共和私有医学图像数据集的模拟实验中表现出最先进的性能。这些算法有可能在医院中应用于先进的临床流程，具有适当的特定案例修改和补充技术。此外，超分辨率的新方法和发现还可能有助于其他低级图像处理任务，而讨论和消融研究提供了令人兴奋的未来研究方向。