【推荐论文】随机加权神经网络中隐藏着什么? （What’s Hidden in a Randomly Weighted Neural Network?），Vivek Ramanujan、Mitchell Wortsman、Aniruddha Kembhavi

题目： What’s Hidden in a Randomly Weighted Neural Network?

摘要： 训练神经网络就是学习权值的同义词。相比之下，我们证明随机加权神经网络包含子网络，在不训练权值的情况下，子网络的性能令人印象深刻。隐藏在随机加权的WideResNet-50中，我们发现有一个子网（具有随机权重）小于，但与在ImageNet上训练的ResNet-34的性能匹配。这些“未受过训练的子网络”不仅存在，而且我们提供了一种有效地找到它们的算法。我们的经验表明，随着具有固定权重的随机加权神经网络变得越来越宽、越来越深，一个“未经训练的子网络”在精度上接近一个具有学习权重的网络。

作者简介：

Vivek Ramanujan，艾伦人工智能研究所（AI2）的ML研究员。

Mitchell Wortsman，华盛顿大学博士。

Aniruddha Kembhavi，艾伦人工智能研究所的高级研究科学家和西雅图华盛顿大学的副教授。等