Explainability of AI systems is critical for users to take informed actions and hold systems accountable. While "opening the opaque box" is important, understanding who opens the box can govern if the Human-AI interaction is effective. In this paper, we conduct a mixed-methods study of how two different groups of whos--people with and without a background in AI--perceive different types of AI explanations. These groups were chosen to look at how disparities in AI backgrounds can exacerbate the creator-consumer gap. We quantitatively share what the perceptions are along five dimensions: confidence, intelligence, understandability, second chance, and friendliness. Qualitatively, we highlight how the AI background influences each group's interpretations and elucidate why the differences might exist through the lenses of appropriation and cognitive heuristics. We find that (1) both groups had unwarranted faith in numbers, to different extents and for different reasons, (2) each group found explanatory values in different explanations that went beyond the usage we designed them for, and (3) each group had different requirements of what counts as humanlike explanations. Using our findings, we discuss potential negative consequences such as harmful manipulation of user trust and propose design interventions to mitigate them. By bringing conscious awareness to how and why AI backgrounds shape perceptions of potential creators and consumers in XAI, our work takes a formative step in advancing a pluralistic Human-centered Explainable AI discourse.


翻译:AI系统的解释对于用户采取知情行动和问责系统至关重要。 虽然“打开不透明的盒子”很重要, 但是理解谁打开这个盒子在人类- AI互动有效的情况下是可以治理的。 在本文中,我们用混合方法研究两种不同群体的人与哪些人之间是如何存在差异的。 我们发现:(1) 两个群体在数量、程度和不同原因方面缺乏合理信仰,(2) 每个群体发现解释价值的不同解释超出了我们设计的用途,(3) 每个群体对什么是人种解释的不同要求。 我们利用我们的调查结果,我们讨论潜在的负面后果,例如:对用户信任的有害操作,以及设计具有潜在意义的干预。

1
下载
关闭预览

相关内容

Group一直是研究计算机支持的合作工作、人机交互、计算机支持的协作学习和社会技术研究的主要场所。该会议将社会科学、计算机科学、工程、设计、价值观以及其他与小组工作相关的多个不同主题的工作结合起来,并进行了广泛的概念化。官网链接:https://group.acm.org/conferences/group20/
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
已删除
将门创投
13+阅读 · 2019年4月17日
《自然》(20190221出版)一周论文导读
科学网
6+阅读 · 2019年2月23日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
资源|斯坦福课程:深度学习理论!
全球人工智能
15+阅读 · 2017年11月9日
Metrics for Explainable AI: Challenges and Prospects
Arxiv
4+阅读 · 2018年12月11日
VIP会员
相关资讯
已删除
将门创投
13+阅读 · 2019年4月17日
《自然》(20190221出版)一周论文导读
科学网
6+阅读 · 2019年2月23日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
资源|斯坦福课程:深度学习理论!
全球人工智能
15+阅读 · 2017年11月9日
Top
微信扫码咨询专知VIP会员