1. 摘要

将不同的、异质的、时间变化的部件整合到复杂的自主系统中，同时保证系统级属性，这就能满足达到可靠自主性科学的要求。在安全机器学习或强化学习等课题上已经做了很多工作，以获得对学习型自主系统的性能和安全的保证（包括通过这个项目），这项探索性的研究工作侧重于具有挑战性的步骤：如何在一个有多个学习组件相互作用的多智能体系统中提供可靠自主性。该项目成功地完成了对竞争和合作环境中分布式学习新算法的设计和分析。

2. 简介

许多系统是由一系列相互作用的子系统组成，它们相互作用，或者明确地作为一个团队进行合作，或者以非零和博弈的方式进行竞争。无人驾驶系统是具有这种结构的典型案例。这种系统已被设想用于许多不同的领域，从侦察、搜索和救援、地雷探测和清扫到战术任务。赋予这些系统自主性，不仅可以减少人员伤亡，而且还可以使其成为一支灵活的、具有多种能力的部队，从而取得主导地位。

尽管取得了重大进展，但要实现可靠长期自主性，即允许系统在不确定的操作条件下，在相当长的时间间隔内做出反应，它们必须对环境、子系统动态或配置、甚至目标和操作约束的意外变化做出自主反应，这仍然具有挑战性。传统的基于模型的技术很可能在这一探索中失败，因为在复杂的、不确定的和时间变化的环境中获得良好的模型要求太高了。然而，在智能体团队的分布式控制方面，新的基于学习的策略目前还没有得到充分的发展，其方式可以保证高置信度操作所需的整体安全和性能。

这项探索性的研究工作集中在这方面的两个问题上。第一个问题集中在设计一个低级别的控制器，它能以一种组合的方式保证安全和稳定。考虑一个大规模的系统，其中子系统的动力学是未知的，因此需要用数据驱动的方法来识别子系统，并在局部设计（和更新）控制器，以确保满足稳定性约束。虽然有很多理论可用于模型识别，但如果将使用模型设计的控制器应用于原始系统，几乎没有任何保证。把这个问题看作是纯粹的基于强化学习的控制设计问题，用目前的集中式或分布式强化学习方法是无法扩展的。这里采取的方法是确定面向控制的学习和组合式控制器设计的方法，这样就可以测试和保证全局属性，如稳定性和安全性。在第二个问题中，重点是设计一个更高级别的控制器，以确定探索该地区的最佳轨迹。由于没有环境模型，强化学习是少数可用的方法之一。大多数多智能体和分布式强化学习算法假设所有智能体在每个时间步骤与所有其他智能体分享其当前状态、行动，甚至可能是奖励。然而，考虑到恶劣的通信环境和可能存在的对手，需要分布式强化学习算法，其中智能体只与邻居分享有限的信息，并且任何通信可能被恶意改变。这项研究工作开发了这种新的分布式强化学习算法。

专知便捷查看