深度神经网络模型的个体差异，Individual differences among deep neural network models

题目： Individual differences among deep neural network models

摘要： 深度神经网络（DNNs）擅长视觉识别任务，越来越多地被用作灵长类大脑神经计算的建模框架。然而，每个DNN实例，就像每个单独的大脑一样，都有一个独特的连接性和代表性轮廓。在这里，我们研究DNN实例之间的个体差异，这些差异是由于只改变网络权值的随机初始化而产生的。利用表征相似性分析，我们证明了在训练前初始条件的最小变化导致中高层网络表征的显著差异，尽管实现了难以区分的网络级分类性能。我们将效应的起源定位在类别样本的欠约束对齐中，而不是类别质心的不对中。此外，虽然网络正则化可以提高学习表示的一致性，但仍然存在相当大的差异。这些结果表明，使用DNNs的计算神经科学家应该基于多个网络实例而不是单个现成的网络进行推理。

作者简介： Johannes Mehrer，英国剑桥大学认知与脑科学部记忆感知小组研究生。等