【CMU博士论文】生成式人工智能用于关键数字孪生体，246页pdf

在现实世界中训练和评估自主机器人面临显著的挑战和风险，这些挑战源于不可预测的环境、安全问题、伦理困境以及有限的人类监督。作为一种缓解策略，使用现实模拟（也称为数字孪生体）提供了对实际系统或环境的虚拟复制，从而促进可信自主性的开发。

数字孪生体使开发者能够在各种场景下评估系统的性能，以识别潜在风险或故障情况。它还促进了数据集的积累和后续分析，用于验证和校准自主系统的感知和决策算法。通过将数字孪生体的行为与现实世界数据进行比较，开发者可以识别差异、提高精度并增强系统的安全性和可靠性。

反映动态和交互组件的场景体现了数字孪生体的复杂性，并在重要性上占优。数字孪生体的一个主要价值在于帮助我们理解对象的交互和行为。例如，在自动驾驶中，车辆、行人和交通状况的行为是需要精确建模的关键组件。然而，并非所有数字孪生体中的场景都是平等创建的。在追求开发可信自主性的过程中，普通场景往往不足以使自主系统经受住以安全和稳健性为重的极端条件。尽管关键场景有可能暴露模型的脆弱性，但其罕见的发生使之成为一项挑战。手动识别或从正常数据或专家设计中推断出这些关键场景不仅效率低下，而且包含大量的人为偏见。

我的博士研究旨在利用生成式人工智能来探索两个关键问题：（1）现有数据中哪些场景是关键的，（2）如何在数字孪生体中生成这些场景。该提案首先定义关键场景及其相应的优化问题，随后深入探讨三种不同类别的场景生成框架：数据驱动生成模型、对抗生成模型和知识引导生成模型。本论文的结论是结合不同视角的生成资源并通过优化数据飞轮来改进未来方向。