神经网络可解释性对具体应用的推动

点击上方“专知”关注获取专业AI知识!来源：知乎-Qs.Zhang张拳石

https://zhuanlan.zhihu.com/p/37638100

我很高兴近期越来越多人开始关注神经网络内部表达可解释性的问题。请登录http://qszhang.com查看UCLA团队在可解释性方向做的10+篇论文。

虽然神经网络可解释性的研究方兴未艾，但是相关课题都必须要面对一个重要问题，即“可解释性到底有什么用”？可解释性的意义看似不言而喻，但“到底有什么用”其实是个很难回答的问题。

目前神经网络可解释性领域中相关研究的用途大致可以分类为以下三个层面：

1. 神经网络知识表达的可视化、结构化、和语义化，即open the black box，让人看明白一个神经网络建模了哪些视觉特征。目前大部分关于网络可解释性的研究工作，在做这个问题。

2. 对神经网络的预测结构给出定量的评测和解释。定量的解释关系到神经网络是否能够赢得人们的信任。如果我们仅仅让神经网络在ImageNet上做图片分类，那么可解释性可能不那么重要。但是，如果人们需要神经网络做出重大判断，比如对手术方案的推荐或对金融投资方案的推荐，人们往往需要具体每个预测结果做出定量的解释，以赢得人们的信任。比如，当神经网络为某个预测结果打分为0.9，那么人们希望知道0.9中多少得分来源于因素A，多少得分来源于因素B，多少得分是很难解释出来的。

3. 无监督或弱监督地将神经网络混乱的知识表达简化为可解释的图模型表达，并基于语义层面可解释的图模型，进行“中层对端”的训练和学习。如何把神经网络的黑箱表达拆分为具有特定功能的网络模块，如何把中层卷积核的混合特征表达拆分成语义明确的特征表达，是两个挑战。进而，基于从神经网络中拆分出来的模块化语义表达，直接对神经网络的中层特征进行debug，进行弱监督学习，可能会成为不错的研究方向。这样，深度学习算法将不会被限制在“端对端”的范畴内，而是像搭积木一样直接组合中层的功能模块，实现某种新的功能，实现小样本弱监督学习。

团队的前期工作已经涵盖了以上三个方面。当然这些工作只是万里长征的第一步，把一个新的概念用数学建模起来，提出solid的解决方案，任重而道远。

【往期文章 of 可解释性】

1. 可解释性与deep learning的发展

 https://zhuanlan.zhihu.com/p/30074544

2. CNN神经网络内部知识表达的“黑”与“白”

 https://zhuanlan.zhihu.com/p/31365150

3. 关于Deep Learning未来发展的十大挑战（瓶颈）

 https://zhuanlan.zhihu.com/p/33651571

-END-

专 · 知

人工智能领域主题知识资料查看与加入专知人工智能服务群：

【专知AI服务计划】专知AI知识技术服务会员群加入与人工智能领域26个主题知识资料全集获取。欢迎微信扫一扫加入专知人工智能知识星球群，获取专业知识教程视频资料和与专家交流咨询！

请PC登录www.zhuanzhi.ai或者点击阅读原文，注册登录专知，获取更多AI知识资料！

请加专知小助手微信（扫一扫如下二维码添加），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG等）交流~

请关注专知公众号，获取人工智能的专业知识！

点击“阅读原文”，使用专知