【NeurIPS2021】神经网络表示的相似度和匹配

我们使用了一个被称为“Frankenstein博士”的工具集来分析深度神经网络中表征的相似性。有了这个工具集，我们的目标是匹配两个训练神经网络的给定层的激活，通过拼接层将它们连接起来。我们证明，在具有相同架构但不同初始化的深度卷积神经网络中出现的内部表示，即使使用一个单一的仿射拼接层，也能以惊人的高精确度匹配。我们从几种可能的线性变换中选择拼接层，并研究它们的性能和性质。匹配表示的任务与相似度的概念密切相关。在此工具集中，我们还提供了一个关于神经网络表示的相似性指数的最新研究方向的新观点:任务性能的视角。

https://www.zhuanzhi.ai/paper/107ba9d44b4b31e406cd14302c2e885f