说明黑盒神经网络的一个主要方法是特征归因,即识别输入特征对网络预测的重要性。特征的预测信息最近被提出作为度量其重要性的代理。到目前为止,通过在网络中设置一个信息瓶颈,只能识别出潜在特征的预测信息。本文提出了一种在输入域中具有预测信息的特征识别方法。该方法可对输入特征信息进行细粒度识别,且与网络结构无关。我们方法的核心思想是利用输入上的瓶颈,只让与预测潜在特征相关的输入特征通过。通过主流特征归因评价实验,我们将该方法与几种特征归因方法进行了比较。代码是公开可用的。
https://www.zhuanzhi.ai/paper/a4396722cfa7bcaa74a5c09dfcc6b1a6