《多智能体深度强化学习模型中动作序列的解释》AAMAS 2023

尽管多智能体深度强化学习（MADRL）在解决复杂的现实世界问题方面表现出了很好的效果，但MADRL模型的适用性和可靠性往往由于缺乏对其内部工作原理的理解而受到限制，无法解释所做的决定。为了解决这个问题，本文提出了一种解释MADRL的新方法，即利用空间-时间神经网络模型将智能体执行的行动事件序列概括为高级抽象策略。具体来说，开发了一个基于区间的记忆检索程序，将编码的行动事件序列随时间推移概括为短的顺序模式。此外，还引入了两种抽象算法，一种用于抽象跨越多个智能体的行动事件，另一种用于将随时间变化的事件进一步抽象为短的顺序模式，然后可以将其转化为符号形式进行解释。我们使用 "星际争霸多智能体挑战"（SMAC）基准任务来评估所提出的方法，这表明该方法能够在不同的粒度水平上得出MADRL模型的高级解释。