【ETHZ博士论文】超越像素深度：通过深度学习增强超分辨率技术，198页pdf

**超分辨率（Super-Resolution, SR） 旨在从低分辨率（LR）图像或视频中恢复高分辨率（HR）图像或视频。**近年来，深度学习的崛起极大地推动了SR技术的发展，通过深度神经网络实现了令人印象深刻的实际应用。尽管取得了巨大进展，SR仍面临诸多关键挑战，包括整合跨信息、有效扩展跨尺度图像分辨率、同时处理跨退化问题，以及向跨维度任务扩展。这些挑战在实际应用中表现为信息不足导致恢复效果受限、难以推广到非尺度图像、处理多种退化问题的困难，以及视频SR在现实场景中的应用局限。为了解决这些问题，本论文提出了以下SR方法。

1. 解决跨信息挑战：DATSR 方法

针对跨信息挑战，我们提出了一种可变形注意力Transformer模型，称为DATSR，用于从参考图像中挖掘更多信息。DATSR包括三个核心模块：纹理特征编码器（TFE）模块、基于参考的可变形注意力（RDA）模块和残差特征聚合（RFA）模块。 * TFE模块首先提取低分辨率图像和参考图像中对图像变换（如亮度、对比度和色调）不敏感的特征； * RDA模块进一步利用多个相关纹理补偿低分辨率图像特征的信息； * RFA模块聚合低分辨率特征和相关纹理，生成更具视觉吸引力的结果。 实验表明，更多的信息有助于提高SR性能，DATSR在多个基准数据集上达到了最先进的性能。

2. 解决跨尺度挑战：CiaoSR 方法

为应对跨尺度问题，我们提出了一个基于连续隐式注意力的SR网络，称为CiaoSR。 * 我们专门设计了一个隐式注意力网络，用于学习邻近局部特征的加权融合。 * 此外，CiaoSR嵌入了尺度感知注意力机制，以利用额外的非局部信息。 实验表明，CiaoSR在任意尺度SR任务中达到了最先进的性能，并且可以灵活地集成到任何网络骨干中以提升跨尺度性能。

3. 解决跨退化挑战：DeqIR 方法

针对跨退化问题，我们提出了一种基于扩散模型的图像恢复方法，称为DeqIR，通过深度平衡固定点系统解决这一问题。 * 我们首先将某些图像恢复任务表述为线性逆问题。现有的扩散方法通过长序列采样链解决逆问题，导致采样时间昂贵且计算成本高。 * 为此，我们通过建模整个采样链为联合多变量固定点系统，推导出解析解。 * 基于此解析解，我们可以进行并行采样，无需训练即可恢复高质量图像。 实验结果表明，该方法在典型的图像恢复任务和实际场景中具有良好的退化泛化能力。

4. 解决跨维度挑战：实用空间-时间视频SR任务

最后，为解决跨维度挑战，我们将图像SR方法扩展到一个实际的空间-时间视频SR任务中。 * 我们提出了一种结合基于模型和基于学习的新方法，将此任务表述为联合视频去模糊、帧插值和超分辨率问题，并通过交替方式解决为两个子问题。

对于第一个子问题，我们推导出可解释的解析解，并将其表述为傅里叶数据变换层。 * 对于第二个子问题，我们提出了一个递归视频增强层以恢复高频细节。 实验结果表明，该方法在实际空间-时间视频SR任务中取得了成功应用，并实现了优越的性能。

总结

综上所述，本论文在图像和视频SR领域做出了贡献，在多个基准数据集上达到了最先进的性能。我们相信所提出的SR方法在娱乐（如老电影或照片修复）、智能手机、数码相机、医学成像、视频会议和视频游戏等领域具有广泛的应用潜力。