神经网络模型性能日益强大, 被广泛应用于解决各类计算机相关任务, 并表现出非常优秀的能力, 但人类 对神经网络模型的运行机制却并不完全理解. 针对神经网络可解释性的研究进行了梳理和汇总, 就模型可解释性 研究的定义、必要性、分类、评估等方面进行了详细的讨论. 从解释算法的关注点出发, 提出一种神经网络可解 释算法的新型分类方法, 为理解神经网络提供一个全新的视角. 根据提出的新型分类方法对当前卷积神经网络的 可解释方法进行梳理, 并对不同类别解释算法的特点进行分析和比较. 同时, 介绍了常见可解释算法的评估原则和 评估方法. 对可解释神经网络的研究方向与应用进行概述. 就可解释神经网络面临的挑战进行阐述, 并针对这些挑 战给出可能的解决方向.近年来, 人工智能 (artificial intelligence, AI) 成为最重要的科学研究领域之一, 具有巨大的社会影响力, AI 技 术被广泛应用于各个领域[1,2] . 随着可扩展的高性能基础设施的发展, AI 系统在许多领域已成为不可或缺的工具, 甚至在越来越多的复杂任务上完成度超过了人类水平[3,4] . 然而, AI 系统在预测、推荐和决策支持方面的出色表现通常是通过采用复杂的神经网络模型来实现的, 这些 模型隐藏了内部流程的逻辑, 此类模型通常被称为黑盒模型[5–7] . 神经网络模型通过非线性、非单调和非多项式函 数来近似数据集中变量之间的关系, 这使得内部运行原理高度不透明. 神经网络模型经常因为错误的原因在训练 集中得到正确的预测结果, 导致模型在训练中表现出色, 但在实践中表现不佳[8–11] . 因此, 神经网络的黑盒特性使 得人类难以完全相信神经网络模型的决策. 人类有进一步了解神经网络模型的意愿. 对于决策能力较人类更差的模型, 希望可以在深度了解模型后发现 问题并解决问题, 从而帮助模型改善性能. 对于决策能力与人类相似的模型, 希望可以解释决策结果, 从而使人类 信任模型, 应用模型. 对于决策能力较人类更好的模型, 希望可以分析其决策机制, 帮助人类更好更深入地理解需 要解决的问题. 可解释人工智能 (explainable AI, XAI)[12]研究致力于以人类可理解的方式解释人工智能模型[13] , 使得人类能 够理解模型的内部运行逻辑和决策结果, 为模型的故障排除和广泛使用提供方便. 可视化和解释神经网络模型的 研究工作引起了越来越多的关注. 2018 年, 欧洲议会在通用数据保护条例 (general data protection regulation, GDPR) 中引入关于自动化决策的条款, 规定数据主体有获得自动化决策中涉及的相关解释信息的权利. 此外, 在 2019 年, 人工智能高级专家组提出了可信赖人工智能的道德准则. 尽管法律上对这些条款存在不同意见[14,15] , 但 普遍认同实施这样一个原则的必要性和紧迫性. 美国国家标准与技术研究院 (National Institute of Standards and Technology, NIST) 于 2020 年 8 月发布关于 XAI 的 4 项原则[16] : 可证明性 (解释结果可以被证据证明)、可用性 (解释结果能够被模型使用用户理解并对用户有意义)、准确性 (解释结果必须准确反映模型运行机制)、限制性 (解释结果能识别出不适合其自身运行的情况). 本文主要对卷积神经网络的可解释算法进行回顾和总结, 第 1 节主要针对模型可解释的定义和研究必要性进 行讨论, 归纳受到了广泛认可的可解释定义和该领域内的常见词汇定义, 并从解决伦理问题、加强模型可靠性和 优化模型性能等几个方面, 介绍对模型进行解释的必要性. 第 2 节对近年来模型可解释的相关研究进行简要分析, 首先对可解释研究具有代表性的研究和发展脉络进行梳理, 随后介绍目前已有的可解释算法的分类方法, 并总结 现有分类方法普遍存在的问题. 第 3 节提出一种对神经网络可解释算法进行分类的新方法, 为理解可解释算法提 供新角度. 依据新的分类方法, 对当前卷积神经网络的可解释方法进行梳理, 并对不同类别解释算法的特点进行分 析和比较. 第 4 节中介绍常见的可解释算法的评估原则和评估方法. 第 5 节讨论可解释神经网络的研究方向、实 际应用和当前面临的挑战, 对解释算法的目标和应用任务等与可解释性研究密切相关的内容进行阐述, 并就神经 网络解释模型当前面临的问题进行简述, 针对这些挑战给出可能的解决方向. 第 6 节对全文进行总结.

成为VIP会员查看完整内容
88

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
「可解释知识图谱推理」最新方法综述
专知会员服务
84+阅读 · 2022年12月17日
可信图神经网络综述:隐私,鲁棒性,公平和可解释性
专知会员服务
38+阅读 · 2022年5月5日
「深度学习注意力机制 」最新TKDE2022研究综述
专知会员服务
100+阅读 · 2022年3月29日
深度学习模型鲁棒性研究综述
专知会员服务
90+阅读 · 2022年1月23日
卷积神经网络中的注意力机制综述
专知会员服务
75+阅读 · 2021年10月22日
专知会员服务
40+阅读 · 2021年6月21日
注意力机制综述
专知会员服务
200+阅读 · 2021年1月26日
专知会员服务
219+阅读 · 2020年8月1日
46页pdf, 165篇文献 | 图的可解释性
图与推荐
3+阅读 · 2022年10月25日
面向图像分类的对抗鲁棒性评估综述
专知
4+阅读 · 2022年10月15日
「深度学习中知识蒸馏」最新2022研究综述
深度学习模型可解释性的研究进展
专知
23+阅读 · 2020年8月1日
Attention!注意力机制模型最新综述(附下载)
THU数据派
29+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
中国人工智能学会
18+阅读 · 2019年4月8日
CNN已老,GNN来了!清华大学孙茂松组一文综述GNN
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
11+阅读 · 2020年12月2日
VIP会员
相关VIP内容
「可解释知识图谱推理」最新方法综述
专知会员服务
84+阅读 · 2022年12月17日
可信图神经网络综述:隐私,鲁棒性,公平和可解释性
专知会员服务
38+阅读 · 2022年5月5日
「深度学习注意力机制 」最新TKDE2022研究综述
专知会员服务
100+阅读 · 2022年3月29日
深度学习模型鲁棒性研究综述
专知会员服务
90+阅读 · 2022年1月23日
卷积神经网络中的注意力机制综述
专知会员服务
75+阅读 · 2021年10月22日
专知会员服务
40+阅读 · 2021年6月21日
注意力机制综述
专知会员服务
200+阅读 · 2021年1月26日
专知会员服务
219+阅读 · 2020年8月1日
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
7+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员