【ETH博士论文】图像和视频高效超分辨率增强技术进展, 147页pdf

由于深度学习的革命性发展，计算机科学领域，尤其是计算机视觉在近年来经历了翻天覆地的变化。大多数经典算法已经被基于深度学习的方法所取代，并在性能上超越了它们。此外，新技术使得我们能够解决以前没有满意解决方案的新领域的问题。深度学习架构的性能与其计算复杂性密切相关，这使得开发高效的高性能算法变得复杂。本论文的目标是为高质量图像和视频增强任务开发具有最大性能的高效算法。这些特性在许多计算能力有限的设备（如电视或移动设备）的应用中需求很大。除了在第一部分针对恢复质量的快速算法外，第二部分和第三部分还提出了改进的学习算法，以促进以最大感知质量高效生成图像和视频。在第一部分，提出了两种高性能视频超分辨率的高效算法。首先，设计了一种循环算法，通过使用一种抽象的隐藏状态，尽可能高效地利用时间信息。该算法即使在连续帧之间没有明确的对齐时，也能在运行时间和性能上取得令人印象深刻的成果。其次，通过集成一个轻量级模块来同时对齐和融合时间信息，进一步改进了循环单元，该模块具有动态注意力机制。在第二部分，提出了一种用于改进感知图像超分辨率的算法。当算法被训练以直接最大化对原始图像的恢复时，结果往往会产生保守的高频估计。已经提出了专用的感知超分辨率损失，它以牺牲恢复质量为代价，以换取更合理的高频内容。为了进一步提高轻量级架构在感知上更加令人愉悦的图像超分辨率的训练指导，提出了在频域中使用额外的感知损失。在第三部分，通过提出一种高效的无监督视频增强算法来解决收集训练对的问题。通过使用循环的生成对抗性框架，实现了没有逐像素引导的数据学习。一个单一的循环判别器便于高效学习和在时间上一致的感知增强高分辨率视频的生成。增强器实现了高性能和快速的运行时间。总的来说，本论文中提出的架构和学习算法在实现轻量级和高质量图像和视频增强方面取得了显著进步。