开发值得决策者信任的机器学习模型对于在实践中使用这些模型至关重要。算法透明性工具,如可解释性和不确定性估计,能够向决策者展示模型的可信度。在本论文中,我们首先探讨了从业者在工业界如何使用可解释性。通过一项访谈研究,我们发现,尽管工程师们越来越多地使用可解释性方法来测试开发过程中的模型行为,但这些方法在外部利益相关者中采用的情况却有限。为此,我们为特定决策环境开发了新颖的算法透明性方法,并通过人类主体实验与真实决策者一起测试这些方法。

我们首先提出DIVINE,一种基于示例的解释方法,它不仅找到对模型参数有影响的训练点,而且这些点在输入空间中具有多样性。我们展示了我们的解释如何提高决策者模拟模型决策边界的能力。接下来,我们讨论反事实潜在不确定性解释(CLUE),这是一种特征重要性解释方法,识别出如果扰动输入特征,将会减少模型在给定输入上的不确定性。我们展示了决策者如何使用我们的解释来识别模型在未见输入上的不确定性。 尽管每种方法本身都是成功的,我们更感兴趣的是,了解在决策者利用某种形式的决策支持后,结果在何种环境下会有所改善,无论是算法透明性还是模型预测。我们提出了学习决策支持策略的问题,该策略针对给定的输入,选择为没有先验信息的决策者提供何种形式的支持。利用随机上下文多臂强盗问题的技术,我们引入THREAD,一种在线算法,用于个性化每个决策者的决策支持策略。我们与真实用户一起部署THREAD,展示了在线学习个性化策略的过程,并说明了在实践中学习决策支持策略的细微差别。 我们以个性化决策支持的前景作为本论文的结论,这种支持形式可以包括基于决策者需求的算法透明性。

成为VIP会员查看完整内容
31

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【2024新书】分布式机器学习模式
专知会员服务
77+阅读 · 1月24日
【新加坡国立大学】深度学习时代数据库:挑战与机会
专知会员服务
33+阅读 · 2020年3月6日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
14+阅读 · 2019年1月24日
资源 | 机器学习必知的15大框架,欢迎补充!
数据分析
19+阅读 · 2018年9月11日
【学界】从可视化到新模型:纵览深度学习的视觉可解释性
GAN生成式对抗网络
10+阅读 · 2018年3月4日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2012年12月31日
Arxiv
142+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
348+阅读 · 2023年3月31日
Arxiv
59+阅读 · 2023年3月26日
Arxiv
122+阅读 · 2023年3月24日
Arxiv
18+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
22+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
15+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员