【斯坦福大学博士论文】生成式模型在现实世界应用中的进展，222页pdf

虽然生成模型具有令人兴奋的潜力，但其有限的可用性为其在现实世界应用中的广泛采纳带来了重大挑战。具体而言，现有方法往往会放大埋藏在其训练数据中的有害社会偏见，并且经常无法准确反映用户主观规格，例如在生成输出中的风格。此外，当处理具有独特结构的数据分布，如周期性时，存在明显的性能差距，限制了它们在图像和文本数据之外的适用性。本论文考虑了所有这些方面，以帮助构建安全、可靠的生成AI系统，以便实际集成和部署。

首先，我们提出了一个方法论框架来应对偏见缓解和可控性的挑战。基于传统的密度比率估计(DRE)方法，我们开发了技术来修正已学习的模型分布，使其显示的特征更接近感兴趣的另一个目标分布。这些贡献不仅为DRE提供了一个新的理论框架，而且还提高了在一系列下游任务上的性能，如域适应、数据增强和互信息估计。接下来，我们展示了这些方法在社会应用中的两个实际应用。我们证明：(a)我们的重新加权生成建模框架成功地缓解了数据集偏见，以及(b)更可控制的模型可以更好地根据个人偏好定制AI生成的音乐，并协助创作过程。最后，我们总结了开发新的学习算法，将领域特定的归纳偏见整合到无线通信的生成模型中，以及离散数据分布。

基于概率的生成模型为我们今天的社会解锁了大量新的机会。在大规模数据集和计算能力的推动下，最近的进展使我们能够自动完成开发者工作流中的代码[Che+21]，根据自然语言指令合成高保真度的图像和视频[Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，将风格传递给录制视频的每一帧[Ess+23]，并个性化音乐表演以适应我们的口味[Don+23; Ago+23]。从通过协助数字内容创建为经济增加数万亿美元的价值，到为创意工作民主化访问和降低进入门槛，该领域正准备重新定义人工智能(AI)领域内的可能性[Bom+21; Elo+23]。

然而，这种兴奋掩盖了阻碍生成模型在现实世界应用中实际可用性的新出现的瓶颈。尽管它们具有强大的功能，生成模型仍然难以准确捕获具有周期性（例如，医学时间序列）和离散性（例如，分子生成的图）这样的特性的结构化数据分布。这极大地限制了它们在图像和文本数据的创意努力之外的实用性。此外，实际将这些模型整合到我们的创意循环中也由于控制其输出所涉及的复杂性而面临重大挑战[Lou+20]。这是因为指导合成输出的用户指定控制信号通常很难在数学或语言上明确地表达，而需要大量注释的数据集进行标记监督或巧妙地导航模型超参数的组合爆炸[Yu+22; Gal+22; Fen+23]。最后，这样的模型可能是不安全的，并在部署时产生意外的后果。因为生成模型旨在捕获数据分布，它们不幸地可能放大训练数据中的有害社会刻板印象，在下游应用中[Wei+21; CZB22]。这种关键的故障模式对终端用户构成了重大的安全风险，他们可能会暴露于或在令人不安的内容中被利用[Jal+21; Bia+22; Ran+22]。因此，大型机构行为者可能会犹豫是否开放这些模型的源代码，而基于这些技术构建的产品非常难以可靠且安全地部署到广大公众。 在这一背景下，任何成功的利用这些AI系统的方法都必须满足两个基本标准。首先，它们必须生成忠实于用户规格的高质量内容，无论控制信号是显式的（例如，风格）还是隐式的（例如，社会规范或价值观）。这种细致的控制将确保生成可靠和相关的输出，适用于实际的、真实世界的应用。第二个要素是，它们必须成功处理各种数据分布。这对于扩展这些模型在各种社会和技术领域的适用性至关重要。