【Facebook AI-ICLR2020】神经网络训练早期阶段探究，Early Phase of NN Training

地址：https://arxiv.org/abs/2002.10365

最近的研究表明，神经网络学习的许多重要方面都发生在训练的最早阶段。例如，稀疏的、可训练的子网络出现(Frankle et al.， 2019)，梯度下降移动到一个小的子空间(guri - ari et al.， 2018)，网络经历一个关键时期(Achille et al.， 2019)。在这里，我们检查了深层神经网络在早期训练阶段所经历的变化。在这些早期的训练迭代中，我们对网络状态进行了广泛的测量，并利用Frankle等人(2019)的框架来定量探测权重分布及其对数据集各个方面的依赖。我们发现，在这个框架中，深度网络在保持符号的同时，对随机权值的重新初始化不够健壮，并且即使经过几百次迭代，权值的分布仍然是非独立的。尽管存在这种行为，使用模糊输入或辅助自监督任务的预训练可以近似监督网络中的变化，这表明这些变化并不是固有的标签依赖，尽管标签显著地加速了这一过程。综上所述，这些结果有助于阐明在学习的关键初始阶段所发生的网络变化。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NNT” 就可以获取《【Facebook AI-ICLR2020】神经网络训练早期阶段探究，Early Phase of NN Training》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源