深度学习研究者们几乎与他们在模型中发现的缺陷同样快地积累了开创性的成就。尽管深度学习模型可以达到超人的表现,但解释深度学习的决策和错误对于“可解释AI”专家来说通常是不可能的,这使得立法者质疑部署深度学习系统的道德和法律后果。因此,该领域的关键开放问题是提高深度神经网络的透明度和可信度,以便安全地部署这些技术。

人们对深度学习的信任不足受到三个关键因素的影响。首先,缺乏正式和全面的理论破坏了可解释AI的领域。这导致了提出不恰当的问题,诱发了重新发现相似思想,并妨碍了研究者接近该领域。其次,可解释的AI文献主要被提供事后、定性和局部解释的方法所主导,这些解释通常是不准确和误导性的。最后,机器学习系统—包括深度神经网络—在任务准确性和可解释性之间努力寻找平衡。现有的解决方案要么为任务准确性牺牲模型透明度,要么反之,使得同时优化这两个目标变得困难。

这篇论文包括四项研究工作,旨在解决这些挑战。第一项工作解决了可解释AI的正式理论的缺乏。这项工作提出了第一个关于可解释AI和概念学习的理论,它正式化了该领域使用的一些基本观念。本章的关键创新是使用范畴结构来正式化可解释AI的概念和过程。特别值得注意的是使用范畴理论,因为它提供了一个健全和抽象的形式主义,用于检查一般结构和结构系统,避免偶然的细节,并专注于它们的基本本质。这个理论基础为论文中的其他章节提供了坚实的基础。第二项工作旨在克服当前可解释AI技术提供事后、定性和局部解释的局限性。

为此,该研究提出了逻辑解释网络,这是一种新型的基于概念的模型,可以同时解决和解释分类问题。逻辑解释网络的关键创新是一个稀疏注意力层,选择神经概念模型中最相关的概念。这样,模型学会生成简单的逻辑解释。第三项工作解决了准确性与解释性的权衡,这是基于概念的模型的主要局限性。为了解决这个问题,这项研究提出了概念嵌入模型。概念嵌入模型的关键创新是一个完全监督的高维概念表示。高维表示使概念嵌入模型克服了信息瓶颈,使它们在不牺牲模型透明度的情况下达到了最先进的准确性。第四项工作解决了概念嵌入模型的局限性,它们无法为其预测提供基于概念的逻辑解释。为了填补这一空白,这项研究提出了深度概念推理器,这是使用概念嵌入的第一个可解释的基于概念的模型。深度概念推理器的关键创新是使用神经网络生成可解释的规则,这些规则在符号层面上执行以进行任务预测。这使得深度概念推理器在复杂任务中达到了最先进的性能,并为其预测提供了人类可以理解且正式的解释。

总体上,这篇论文通过引入第一个关于可解释AI的正式理论,并展示了超越当前准确性与解释性权衡的新型深度学习技术,做出了重要贡献。实验结果展示了这些创新如何导致了一代既透明又准确的深度学习架构。引入这些新技术为增加深度学习的透明度和可信度奠定了基础,使得稳健且可控的机器学习代理的安全部署成为可能。

成为VIP会员查看完整内容
46

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【博士论文】可解释深度学习的结构化表示,119页pdf
专知会员服务
67+阅读 · 2023年12月18日
【CMU博士论文】可解释机器学习方法与应用,127页pdf
专知会员服务
75+阅读 · 2023年6月6日
【牛津大学博士论文】关系数据的学习和推理,243页pdf
专知会员服务
53+阅读 · 2022年11月16日
【MIT博士论文】数据高效强化学习,176页pdf
【KDD2020】图神经网络:基础与应用,322页ppt
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
404+阅读 · 2023年3月31日
Arxiv
67+阅读 · 2023年3月26日
Arxiv
21+阅读 · 2023年3月17日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
相关论文
微信扫码咨询专知VIP会员