【ICML2021】张量分解的隐式正则化

最近解开深度学习中的隐式正则化之谜的努力促使了对矩阵分解的理论关注——通过线性神经网络的矩阵完成。作为对实际深度学习的进一步研究，我们首次对张量因子分解中的隐正则化进行了理论分析——通过某种非线性神经网络的张量补全。我们采用动力学系统的观点，规避了张量问题的困难，刻画了梯度下降引起的演化。给出了贪心低张量秩搜索的一种形式，在一定条件下给出了严格的证明，并在其他条件下给出了经验证明。基于张量秩捕获非线性神经网络隐含正则化的动机，我们将其作为复杂性的度量方法进行了实证研究，并发现它捕获了神经网络所泛化的数据集的本质。这使我们相信张量秩可以为解释深度学习中的隐正则化以及将这种隐正则化转换为泛化的真实数据的特性铺平道路。