【HKUST博士论文】增强扩散采样与通过架构研究解读自监督学习

神经网络在复杂的无监督任务中表现出色，包括使用扩散模型进行高质量样本生成和通过自监督学习（SSL）模型进行语义特征提取。扩散模型和自监督学习（SSL）在各自的目标上表现出色：生成高质量样本和学习表示。大量的研究工作已致力于提升扩散生成质量并深入理解自监督学习。此外，研究者们也在探索扩散与自监督学习模型之间的协同效应。然而，这些模型的复杂性带来了对其进行解读、识别瓶颈并提出设计方案以实现持续改进的挑战。在我们的研究中，我们对扩散模型和自监督学习模型进行了深入分析，识别了现有的瓶颈。这一分析促使我们开发出一致且高效的设计，以提升扩散生成性能并改善自监督学习模型所学特征的质量。此外，我们通过利用自监督学习来引导扩散模型进行零-shot采样，研究了扩散和自监督学习模型之间的互利关系。在扩散模型的研究中，我们全面调查了分类器引导采样过程和扩散UNet架构。对于分类器引导采样过程，我们提出了关键设计方案，包括分类器平滑性和调整的引导方向，以促进高质量的采样。因此，我们将现成的ResNet分类器集成到扩散采样中，使ImageNet数据集上的FID指标从5.91显著提高到2.19。关于扩散UNet架构，我们在现有的跳跃连接设计中识别出瓶颈效应，过多的噪声被引入采样过程。我们引入了一种简单且无训练的方法，称为跳跃调优（Skip-Tuning），以解决这一问题。该方法有效地防止了噪声污染生成样本，较基准模型在FID上实现了近乎100%的显著提升。在我们的自监督学习研究中，我们对自监督学习中的投影头设计提供了架构见解，并提出了一种通用设计——表示评估设计（RED）。该设计持续提升了各种自监督学习模型的下游性能，如SimCLR、MoCo-V2和SimSiam。此外，我们将自监督学习方法应用于生物学领域，开发了CellContrast，这是一种自监督学习方法，能够有效学习单细胞基因数据的空间信息。CellContrast在下游任务中显著超越了相关的监督学习方法。凭借我们深入的见解，我们进一步探讨了自监督学习与扩散模型之间的互利关系。具体来说，我们利用文本-图像对齐的自监督学习模型CLIP来引导扩散模型进行零-shot生成，而无需额外的训练。与之前的方法相比，我们的方法在采样效率上表现得更加优越。https://lbezone.hkust.edu.hk/bib/991013340348903412