**近年来,具有复杂自主行为的智能体和系统的发展加快。**随着这些智能体行动的后果开始在社会中显现,对理解其决策的需求推动了对机制的研究,以获得与人类推理兼容的解释。然而,可解释系统的设计往往没有考虑解释可能给机器和人类智能体带来的影响。本文探讨了这一挑战。
**该方法首先着眼于具有复杂监管的分散环境,在这些环境中,必须交换解释,以确保智能体之间的有序交互。**为将人类规则集转换为机器兼容的推理机制,本文提出一种基于辩论的人-智能体架构,将人类规则映射到具有可解释行为的人工智能体的文化中。在混合的、可解释的人-智能体设置下的用户研究表明,系统复杂性是解释对人类有用的决定因素。对于自主智能体,隐私性和部分可观察性会在分散系统中引入主观不公平性的概念。本文表明,这种影响也可以通过使用有效的解释来缓解。
**以类似的方式,研究了强化学习(RL)智能体,并研究了定向具有可解释特征的学习机制的可能性。**将此过程称为解释感知经验回放(XAER),并证明了解释工程可以用来代替具有可解释特征的环境的奖励工程。进一步,将这一概念扩展到多智能体强化学习中,并展示了如何在具有部分可观测性的环境中交换解释,以获得更鲁棒和有效的集体行为。结论是,可解释系统的设计不仅要考虑解释的生成,还要考虑解释的消耗。解释可以作为交流精确和精炼信息的工具,人类智能体获得的见解也可以由机器智能体获得,特别是在具有分散智能体或部分知识的系统中。