【CMU博士论文】面向可部署的强化学习：安全性、鲁棒性、适应性和可扩展性

随着在安全关键领域应用强化学习（RL）的需求日益增加，迫切需要安全、鲁棒且多功能的RL算法。本论文直接回应了这一需求，引入了一套先进的策略优化算法，旨在克服安全RL面临的关键挑战，从而为更可靠和实用的部署铺平道路。

论文的第一部分集中于提高样本效率和训练稳定性——这是可部署安全RL的关键方面。我们提出了约束变分策略优化（CVPO）方法，该方法将安全RL问题重新定义为两阶段优化过程。这种方法不仅确保了高效且稳定的学习，还提供了强大的性能保证，使其成为实际安全RL应用中安全性和样本效率方面的优越选择。 论文的第二部分深入探讨了可部署RL的关键组成部分——鲁棒性，特别是针对观测扰动的鲁棒性。我们发现，学到的安全策略对隐秘但不安全的行为诱导很脆弱。我们的发现强调了在不利条件下提高安全性的鲁棒对抗训练的必要性。基于此，我们首先引入了一种在策略上的对抗训练流程，然后提出了SAFER，一种从CVPO衍生的离策略方法，有效地在对抗环境中增强了策略的鲁棒性和安全性。

最后，论文通过从静态离线数据集学习，解决了可部署RL的适应性和可扩展性问题。它引入了约束决策变换器（CDT），一种新颖的方法，利用序列建模技术在部署过程中动态调整安全性和任务性能之间的权衡。与CDT同时，论文提出了TAIL，一个可扩展的连续学习训练范式，有效地将预训练模型适应新任务，同时减轻灾难性遗忘和过拟合。

总之，本论文致力于推动安全、鲁棒和可扩展策略优化的界限，朝着在安全关键领域可部署RL迈进。所提出的方法提供了鲁棒、高效和可适应的解决方案，这对RL系统的现实世界部署至关重要。 随着强化学习（RL）继续成熟并扩展其视野，从模拟环境过渡到真实世界的应用，使RL在实际的安全关键领域可部署的重点日益加强。可部署的RL指的是RL系统在复杂、动态且往往是高风险环境中安全、可靠且高效地互动和学习的能力。这包括自动驾驶车辆在城市交通中导航、金融系统执行交易或医疗机器人协助手术。为了使RL可部署，它必须遵守严格的安全、鲁棒性、适应性和可扩展性要求——确保RL代理在多变和不可预测的现实世界条件下表现得当。

可部署RL的基石是安全性。安全强化学习（safe RL）专门通过学习不仅寻求最大化奖励但也遵循预定义安全约束的策略来解决这一问题。这些约束对于防止危险行为和确保RL代理在可接受的风险参数内运作至关重要。安全性不仅仅是一个特性——它是一种基本必需品，支持在不确定性盛行且风险高的现实世界设置中部署RL的整个前提。

然而，仅有安全性并不能保证可部署性。为了让RL从理论过渡到实践，它还必须具备鲁棒性和可扩展性。RL中的鲁棒性指的是策略对环境变化和不确定性的抵抗力，包括在训练期间未遇到的新场景或敌对尝试破坏代理的行为。另一方面，适应性涉及RL算法高效地从大数据集和多样化场景中学习和适应的能力。适应范式还应该是可扩展的，以持续发展并随时间改进其策略。这关乎RL系统在广泛的任务和条件中保持其性能和安全性的能力，不断提高其能力和可靠性。

在这篇论文中，我们专注于推动安全RL的前沿，强调使其可部署。我们通过深入探讨三个相互关联的方面——安全性、鲁棒性、适应性和可扩展性来解决这一挑战，以安全性为核心，将其他方面进行语境化。我们的目标是开发方法论和算法，使我们更接近将RL视为一套理论工具和技术的愿景，而是一套实用、可靠且高效的解决方案，准备好用于真实世界的实施。这种追求是由RL在关键应用中的日益增长的需求和巨大潜力所激发的，推动了对不仅表现出色而且可信和可适应的系统的需求。通过专注于安全RL作为通往可部署RL的途径，我们旨在为将智能、基于学习的系统整合到我们日常生活中的更广泛目标做出贡献，增强能力，并确保安全和福祉。