Explainable Artificial Intelligence (XAI) has in recent years become a well-suited framework to generate human understandable explanations of black box models. In this paper, we present a novel XAI visual explanation algorithm denoted SIDU that can effectively localize entire object regions responsible for prediction in a full extend. We analyze its robustness and effectiveness through various computational and human subject experiments. In particular, we assess the SIDU algorithm using three different types of evaluations (Application, Human and Functionally-Grounded) to demonstrate its superior performance. The robustness of SIDU is further studied in presence of adversarial attack on black box models to better understand its performance.


翻译:近年来,可解释的人工智能(XAI)已经成为一个非常合适的框架,可以使人们理解黑盒模型的解释。在本文中,我们提出了一个新颖的XAI直观解释算法,它代表SIDU, 能够将负责预测的整个目标区域完全本地化。我们通过各种计算和人类主题实验分析其稳健性和有效性。特别是,我们利用三种不同的评价(应用、人和功能四舍五入)来评估SIDU算法,以证明其优异的性能。在对黑盒模型进行对抗性攻击的情况下,SIDU的强健性得到了进一步研究,以更好地了解其性能。

0
下载
关闭预览

相关内容

DARPA可解释人工智能
专知会员服务
126+阅读 · 2020年12月22日
专知会员服务
39+阅读 · 2020年10月13日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
机器学习可解释性工具箱XAI
专知
11+阅读 · 2019年2月8日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
14+阅读 · 2020年9月1日
Directions for Explainable Knowledge-Enabled Systems
Arxiv
26+阅读 · 2020年3月17日
Metrics for Explainable AI: Challenges and Prospects
Arxiv
4+阅读 · 2018年12月11日
VIP会员
相关VIP内容
DARPA可解释人工智能
专知会员服务
126+阅读 · 2020年12月22日
专知会员服务
39+阅读 · 2020年10月13日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
129+阅读 · 2020年5月14日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
相关资讯
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
机器学习可解释性工具箱XAI
专知
11+阅读 · 2019年2月8日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员