【NeurIPS2021】利用判别掩蔽(DAM)学习神经网络的紧致表示

深度学习的核心目标是学习神经网络各层特征的紧凑表示，这对无监督表示学习和结构网络剪枝都很有用。虽然在结构修剪方面的工作越来越多，但目前最先进的方法有两个关键限制:(1)训练期间不稳定，(2)需要额外的微调步骤，这是资源密集型的。这些限制的核心是缺乏一种系统的方法，在单个阶段的训练中联合修剪和细化权重，不需要在收敛上进行任何微调，以实现最先进的性能。本文提出了一种新的单级结构剪枝方法——判别掩蔽(DAM)。DAM背后的关键思路是，在训练过程中，有选择地选择一些神经元进行精炼，而逐渐掩盖其他神经元。我们表明，我们提出的DAM方法在各种应用中具有非常好的性能，包括降维、推荐系统、图表示学习和图像分类的结构化剪枝。我们还从理论上证明了DAM的学习目标与掩蔽层L0范数的最小化直接相关。