【ICML2021】从DNN中解释和解分不同复杂度的特征分量

在人工智能时代，深度学习已经在诸多方面有了广泛的应用，然而，神经网络黑盒本质使得人们难以理解这个复杂的系统。为了打开这一黑盒，目前，对神经网络的「解释」不仅需要在视觉概念的层面“实验观察”特征的语义，更需要“理论解释并建模”神经网络的表达能力，从而打通“直觉上的语义”与“数学建模表达能力”之间的壁垒。

基于此，本项研究提出了一种对神经网络中层“特征复杂度”的通用量化指标，这一方法能够将神经网络中层特征拆分成不同阶次的复杂度分量。通过对不同复杂度特征分量的可视化，人们可以更清晰地分析不同复杂度分量的语义；同时，本研究也提出了数学指标以分析不同复杂度分量的可靠性、有效性、以及过拟合程度。作为一种通用指标，本项研究也可以为深度学习中的一些经典方法提供全新角度的解释。