【港科大博士论文】生成模型的统计和结构特性，338页pdf

作为一种数据生成和表示学习的方法，生成模型在现代机器学习和统计学中获得了相当大的兴趣。生成对抗网络(Generative Adversarial Networks, GANs)和变分自编码器(Variational Autoencoders, vae)是两类重要的隐式生成建模方法，它们对隐变量和数据变量之间的转换进行建模，以模拟采样过程，而无需显式地指定概率分布。由于深度学习的最新发展，生成模型在广泛的应用中取得了显著的经验性能。

尽管生成模型在经验上取得了成功，但它们的理论属性不太合理，尤其是GANs的理论属性。这激发了本文的第一个主题，即f-散度GAN的统计分析。该理论产生了一类具有更高统计效率的GAN新算法，并揭示了统计问题，包括现代算法(GAN)和经典方法(最大似然估计)之间的关系，以及各种f-散度的行为。在双向生成模型的原则框架下，提供了GAN和VAE的统一视图。将所提出的方法广泛应用于计算机视觉和自然语言处理的实际任务，并取得了最先进的性能。本文提出一种新的模型架构和学习公式，基于高效的GAN方法，用于连贯和多样化的文本生成。

在人类对现实世界的认知和理解中，结构是普遍存在的、固有的。本文的第二部分将重点转移到生成模型的结构属性上。这方面的一个新兴领域是解耦表示学习，它以现实世界的数据是由一些解释因素生成的为前提，旨在恢复生成因素及其基本结构。数据的解耦表示在深度学习模型的可解释性、下游学习任务和可控生成方面有许多好处。解缠的难度取决于可用的监督数量以及基础结构的复杂性。众所周知，解缠在完全无监督的环境中是不可能的。现有的解缠文献大多考虑简单的结构，如在给定一些观察辅助变量的情况下的独立性或条件独立性，而更普遍(且具有挑战性)的结构是因果结构，其中潜在因素由因果图连接。本文形式化了之前方法在因果情况下的失败，提出了一种基于具有因果先验的双向生成模型的因果因素解缠方法。对所提算法的可辨识性和渐近收敛性进行了理论证明。开发了一种非参数方法，从观察数据中学习因果结构。

https://lbezone.hkust.edu.hk/bib/991013098359303412#