最近解开深度学习中的隐式正则化之谜的努力促使了对矩阵分解的理论关注——通过线性神经网络的矩阵完成。作为对实际深度学习的进一步研究,我们首次对张量因子分解中的隐正则化进行了理论分析——通过某种非线性神经网络的张量补全。我们采用动力学系统的观点,规避了张量问题的困难,刻画了梯度下降引起的演化。给出了贪心低张量秩搜索的一种形式,在一定条件下给出了严格的证明,并在其他条件下给出了经验证明。基于张量秩捕获非线性神经网络隐含正则化的动机,我们将其作为复杂性的度量方法进行了实证研究,并发现它捕获了神经网络所泛化的数据集的本质。这使我们相信张量秩可以为解释深度学习中的隐正则化以及将这种隐正则化转换为泛化的真实数据的特性铺平道路。

成为VIP会员查看完整内容
19

相关内容

专知会员服务
19+阅读 · 2021年9月28日
专知会员服务
22+阅读 · 2021年9月25日
专知会员服务
19+阅读 · 2021年9月14日
专知会员服务
28+阅读 · 2021年7月19日
专知会员服务
22+阅读 · 2021年6月22日
专知会员服务
79+阅读 · 2021年5月10日
【ICLR2020-Facebook AI】张量分解的时序知识图谱补全
专知会员服务
58+阅读 · 2020年4月14日
【ICML2021】低秩Sinkhorn 分解
专知
9+阅读 · 2021年8月20日
ICLR 2019 | 基于复杂空间关系旋转的知识表示方法
PaperWeekly
15+阅读 · 2019年7月29日
ICML 2019 | 第四范式提出快速张量补全新方法
PaperWeekly
4+阅读 · 2019年6月19日
如何用张量分解加速深层神经网络?(附代码)
Arxiv
135+阅读 · 2018年10月8日
Arxiv
5+阅读 · 2017年7月25日
Arxiv
7+阅读 · 2014年6月27日
VIP会员
相关VIP内容
专知会员服务
19+阅读 · 2021年9月28日
专知会员服务
22+阅读 · 2021年9月25日
专知会员服务
19+阅读 · 2021年9月14日
专知会员服务
28+阅读 · 2021年7月19日
专知会员服务
22+阅读 · 2021年6月22日
专知会员服务
79+阅读 · 2021年5月10日
【ICLR2020-Facebook AI】张量分解的时序知识图谱补全
专知会员服务
58+阅读 · 2020年4月14日
微信扫码咨询专知VIP会员