深度神经网络泛化的神秘能力被认为源于隐式正则化,一种基于梯度的优化的趋势,以拟合训练数据与低复杂度的预测器。“形式化这种直觉的一个主要挑战是,我们缺乏对复杂性的度量,既要量化,又要捕捉承认泛化的数据的本质(图像、音频、文本等)。考虑到这一挑战,我将介绍最近的隐式正则化在矩阵分解(等价于线性神经网络)和张量分解(等价于某种类型的非线性神经网络)中的分析。通过动态描述,我将建立隐式的低秩正则化,不同于任何类型的范数最小化,与先前的信念相反。然后,由于张量秩捕获非线性神经网络的隐式正则化,我将建议将其作为复杂度的度量,并表明在拟合标准数据集时它保持极低的水平。这就产生了张量秩解释神经网络的隐式正则化和将其转化为泛化的真实数据的特性的可能性。

http://www.ipam.ucla.edu/abstract/?tid=16593&pcode=TMWS1

目录:

1 深度学习隐式正则化 Implicit Regularization in Deep Learning

2 矩阵分解 Matrix Factorization

3 CP张量分解 CP Tensor Factorization

4 张量秩 Tensor Rank as Measure of Complexity

5 结论 Conclusion

成为VIP会员查看完整内容
56

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
36+阅读 · 2021年5月30日
专知会员服务
63+阅读 · 2021年5月4日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
104+阅读 · 2020年12月18日
【Google】梯度下降,48页ppt
专知会员服务
78+阅读 · 2020年12月5日
最新《自动微分》综述教程,71页ppt
专知会员服务
21+阅读 · 2020年11月22日
专知会员服务
44+阅读 · 2020年10月31日
专知会员服务
41+阅读 · 2020年7月29日
社区检测的深度学习:进展、挑战和机遇
专知会员服务
45+阅读 · 2020年7月9日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
44+阅读 · 2020年5月23日
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
AAAI 2020 最新“可解释人工智能 XAI”教程
学术头条
5+阅读 · 2020年2月11日
神经网络中 warmup 策略为什么有效?
极市平台
10+阅读 · 2019年9月23日
深度学习线性代数简明教程
论智
11+阅读 · 2018年5月30日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
如何用张量分解加速深层神经网络?(附代码)
机器学习(29)之奇异值分解SVD原理与应用详解
机器学习算法与Python学习
3+阅读 · 2017年11月30日
Arxiv
0+阅读 · 2021年5月27日
Arxiv
27+阅读 · 2020年12月24日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
8+阅读 · 2019年5月20日
VIP会员
相关VIP内容
专知会员服务
36+阅读 · 2021年5月30日
专知会员服务
63+阅读 · 2021年5月4日
最新《非凸优化理论》进展书册,79页pdf
专知会员服务
104+阅读 · 2020年12月18日
【Google】梯度下降,48页ppt
专知会员服务
78+阅读 · 2020年12月5日
最新《自动微分》综述教程,71页ppt
专知会员服务
21+阅读 · 2020年11月22日
专知会员服务
44+阅读 · 2020年10月31日
专知会员服务
41+阅读 · 2020年7月29日
社区检测的深度学习:进展、挑战和机遇
专知会员服务
45+阅读 · 2020年7月9日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
44+阅读 · 2020年5月23日
相关资讯
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
AAAI 2020 最新“可解释人工智能 XAI”教程
学术头条
5+阅读 · 2020年2月11日
神经网络中 warmup 策略为什么有效?
极市平台
10+阅读 · 2019年9月23日
深度学习线性代数简明教程
论智
11+阅读 · 2018年5月30日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
如何用张量分解加速深层神经网络?(附代码)
机器学习(29)之奇异值分解SVD原理与应用详解
机器学习算法与Python学习
3+阅读 · 2017年11月30日
微信扫码咨询专知VIP会员