【斯坦福大学博士论文】面向现实应用的深度生成模型，222页pdf

尽管生成模型具有令人振奋的潜力，但它们的有限可用性对于在现实世界应用中广泛采用它们提出了重大挑战。具体来说，现有方法往往会放大嵌入在其训练数据中的有害社会偏见，并且通常无法准确反映生成的输出中的主观用户规范，例如风格。此外，当处理具有独特结构的数据分布时，如周期性，会存在明显的性能差距，这限制了它们在图像和文本数据之外的适用性。本论文考虑了所有这些方面，以帮助构建安全可靠的生成式人工智能系统，用于实际集成和部署。

首先，我们提出了一种方法论框架，以应对偏见减轻和可控性方面的挑战。在经典的密度比估计（DRE）方法基础上，我们开发了技术，用于纠正学习模型分布，使其表现出更与另一目标分布更紧密对齐的特征。这些贡献不仅为DRE提供了一个新的理论框架，还提高了在各种下游任务上的性能，如领域自适应、数据增强和互信息估计等。接下来，我们介绍了这些方法在社会应用中的两个真实应用。我们证明：（a）我们的重新加权生成建模框架成功减轻了数据集偏见，（b）更可控的模型可以更好地定制AI生成的音乐以适应个人偏好，并促进创造过程。最后，我们总结了通过将领域特定的归纳偏见纳入无线通信的生成模型以及离散数据分布的生成模型中的新学习算法。

概率生成模型承诺为我们的社会带来巨大的新机会。受大规模数据集和计算资源的可用性推动，最近的进展已经催生出可以自动完成开发者工作流中的代码 [Che+21]，根据自然语言指令合成高保真度图像和视频 [Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，将风格转移到录制视频的每一帧 [Ess+23]，并个性化音乐表演以迎合我们的口味 [Don+23; Ago+23] 的机器。从通过协助数字内容创作增加数万亿美元的经济价值到民主化访问并降低创意工作的准入门槛，这个领域准备重新定义人工智能（AI）领域的可能性 [Bom+21; Elo+23]。

然而，这种兴奋热潮掩盖了阻碍生成模型在实际应用中的实用性的新兴瓶颈。尽管生成模型具有强大的能力，但它们仍然难以准确捕捉具有周期性（例如，医学时间序列）和离散性（例如，分子生成的图形）等特征的结构化数据分布。这极大地限制了它们在涉及图像和文本数据以外的创意工作之外的实用性。此外，实际将这些模型集成到我们的创意循环中也面临着重大挑战，因为控制它们的输出涉及复杂性 [Lou+20]。这是因为用于引导合成输出的用户指定的控制信号通常在数学或语言上很难表达，而是需要大量的带标签监督的注释数据集或巧妙地导航可能的模型超参数组合爆炸 [Yu+22; Gal+22; Fen+23]。最后，这些模型可能存在安全风险，并在部署时产生意想不到的后果。因为生成模型的设计目标是捕捉数据分布，不幸的是，它们可能会在下游应用中放大训练数据中存在的有害社会刻板印象 [Wei+21; CZB22]。这种重要的故障模式对最终用户构成了重大安全风险，他们可能会接触到或被滥用于令人不安的内容 [Jal+21; Bia+22; Ran+22]。因此，大型机构可能会犹豫是否开源这些模型，以及基于这些技术构建的产品可能会受到极大的限制。

在这种背景下，任何成功的方法来利用这些人工智能系统都必须满足两个基本标准。首先，它们必须生成高质量的内容，忠实于用户的规范，无论控制信号是显式的（比如风格）还是隐式的（比如社会价值观念）。这种细粒度的控制将确保可靠且相关的输出，使其适用于实际的现实世界应用。第二个要素是它们必须成功处理各种数据分布。这对于扩展这些模型的适用性到各种社会和技术领域将是至关重要的。