深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

VIP内容

在人工智能时代,深度学习已经在诸多方面有了广泛的应用,然而,神经网络黑盒本质使得人们难以理解这个复杂的系统。为了打开这一黑盒,目前,对神经网络的「解释」不仅需要在视觉概念的层面“实验观察”特征的语义,更需要“理论解释并建模”神经网络的表达能力,从而打通“直觉上的语义”与“数学建模表达能力”之间的壁垒。

基于此,本项研究提出了一种对神经网络中层“特征复杂度”的通用量化指标,这一方法能够将神经网络中层特征拆分成不同阶次的复杂度分量。通过对不同复杂度特征分量的可视化,人们可以更清晰地分析不同复杂度分量的语义;同时,本研究也提出了数学指标以分析不同复杂度分量的可靠性、有效性、以及过拟合程度。作为一种通用指标,本项研究也可以为深度学习中的一些经典方法提供全新角度的解释。

成为VIP会员查看完整内容
0
11

最新论文

We describe a gradient-based method to discover local error maximizers of a deep neural network (DNN) used for regression, assuming the availability of an "oracle" capable of providing real-valued supervision (a regression target) for samples. For example, the oracle could be a numerical solver which, operationally, is much slower than the DNN. Given a discovered set of local error maximizers, the DNN is either fine-tuned or retrained in the manner of active learning.

0
0
下载
预览
Top