**近年来,具有复杂自主行为的智能体和系统的发展加快。**随着这些智能体行动的后果开始在社会中显现,对理解其决策的需求推动了对机制的研究,以获得与人类推理兼容的解释。然而,可解释系统的设计往往没有考虑解释可能给机器和人类智能体带来的影响。本文探讨了这一挑战。

**该方法首先着眼于具有复杂监管的分散环境,在这些环境中,必须交换解释,以确保智能体之间的有序交互。**为将人类规则集转换为机器兼容的推理机制,本文提出一种基于辩论的人-智能体架构,将人类规则映射到具有可解释行为的人工智能体的文化中。在混合的、可解释的人-智能体设置下的用户研究表明,系统复杂性是解释对人类有用的决定因素。对于自主智能体,隐私性和部分可观察性会在分散系统中引入主观不公平性的概念。本文表明,这种影响也可以通过使用有效的解释来缓解。

**以类似的方式,研究了强化学习(RL)智能体,并研究了定向具有可解释特征的学习机制的可能性。**将此过程称为解释感知经验回放(XAER),并证明了解释工程可以用来代替具有可解释特征的环境的奖励工程。进一步,将这一概念扩展到多智能体强化学习中,并展示了如何在具有部分可观测性的环境中交换解释,以获得更鲁棒和有效的集体行为。结论是,可解释系统的设计不仅要考虑解释的生成,还要考虑解释的消耗。解释可以作为交流精确和精炼信息的工具,人类智能体获得的见解也可以由机器智能体获得,特别是在具有分散智能体或部分知识的系统中。

成为VIP会员查看完整内容
65

相关内容

剑桥大学(英语:University of Cambridge;勋衔:Cantab)为一所座落于英国剑桥郡剑桥市的研究型大学。它是英语世界中历史第二悠久的大学,也是世界现存第四古老的大学。剑桥大学的起源为一群牛津大学的学者,因与牛津市民发生冲突而移居至剑桥。剑桥与牛津这两所在中世纪建立的英国大学,在校务运作、学术声望、社会地位等多方面都非常相似,经常合称为“牛剑”
【剑桥大学博士论文】机器学习安全性,148页pdf
专知会员服务
41+阅读 · 2023年2月13日
【伯克利博士论文】机器学习安全性,172页pdf
专知会员服务
36+阅读 · 2022年12月6日
【牛津大学博士论文】解释深度神经网络,134页pdf
专知会员服务
215+阅读 · 2020年10月8日
《强化学习》简介小册,24页pdf
专知会员服务
261+阅读 · 2020年4月19日
可解释的机器学习
平均机器
25+阅读 · 2019年2月25日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
1+阅读 · 2023年4月21日
Arxiv
1+阅读 · 2023年4月20日
Arxiv
0+阅读 · 2023年4月20日
Arxiv
0+阅读 · 2023年4月19日
已删除
Arxiv
31+阅读 · 2020年3月23日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员