【博士论文】在低维与高维空间中对潜在表征的分析、建模与变换

深度神经网络学习丰富且结构化的潜在表征（latent representations）的能力，推动了计算机视觉及更广泛领域的重大进展。它们在图像分类、语义分割、自然语言处理和生成建模等任务中展现出卓越的性能。其强大表达能力的关键因素之一在于利用海量数据进行训练，使模型能够捕捉复杂的模式并在不同任务之间实现良好的泛化。然而，当数据稀缺或难以获取时，对大规模数据集的依赖便成为一项显著的限制。由此，一个自然的问题出现了：我们如何利用并迁移那些在数据丰富领域中学习到的表征，以适应那些难以收集大规模配对数据集的场景？

为此，研究者通常采取两类通用策略： 第一，分析并变换潜在特征空间，使其与新的任务目标对齐； 第二，直接调整与操控输入空间，使其更契合模型已学习的先验。 本论文在表征学习与生成建模的背景下，对这两种策略进行了系统研究。 对于第一类方法，我们将神经网络中的编码信息视为结构化的特征分布，并通过数学上有理论支撑的技术来对齐这些分布。首先，论文在神经风格迁移（neural style transfer）的背景下探讨了这一思想，提出了特征对齐的理论基础。与现有方法相比，该方法在理论上更具一致性，并在实践中实现了更稳定的风格迁移效果。除此之外，论文还通过严格的分析框架，深化了对潜在空间的理解，提出了一种识别与评估学习到的表征的新方法，特别是在深度学习模型中的纹理偏置（texture bias）问题上，对现有解决方案的有效性提出了部分质疑。 第二类方法聚焦于对数据表征本身的适应与改造，无论是通过变换输入域，还是通过修改模型架构。这在缺乏规则或高效网格结构的领域尤为重要，因为传统架构往往难以在此类场景下发挥作用。为此，论文聚焦于3D与非欧几里得（non-Euclidean）数据的生成建模，提出了一种基于扩散模型（diffusion model）的生成框架，利用**四面体表示（tetrahedral representation）实现高质量三维形状的合成，并保证几何一致性。与现有方法相比，该方法能够在保持计算效率的同时，以前所未有的分辨率生成3D网格。最后，论文还提出了一种将现有扩散模型扩展至全景图像生成（panoramic image generation）**的技术，该方法在保留互联网规模图像先验的基础上，不仅提升了生成图像的质量，还实现了比以往更高的可控性。 总而言之，这些研究成果展示了：通过深入理解并灵活调整现有模型与潜在表征，深度学习可以被有效拓展至新的输入与输出域，从而形成可广泛应用于多种计算机视觉任务的统一原理与方法论。