理解深度神经网络的内部机理对神经网络提供可信的应用十分重要。现有的研究主要聚焦于如何将具体的语义与单神经元或单层相关联,忽略了网络的整体推理过程的解释。本文提出了神经网络解耦这个概念,旨在将具体语义与解耦的子结构相关联,从而理解网络从输入到输出的整体推理过程。本文实验揭示了神经网络可以按照任务被拆解成子结构,并且最高层语义并不一定出现在神经网络最深层。最后,本文探讨了相似子结构是导致神经网络分类错误的原因之一。
https://www.zhuanzhi.ai/paper/28861bb06d859bab31527647d4e8bd45