尽管有很多尝试[1-6],深度学习的有效性到目前为止还没有明确的解释。考虑到神经网络是一个非常简单且定义良好的数学对象,这相当令人惊讶[7-9]。使分析变得困难的是深度神经网络通常是用大量的参数来描述的,例如权重矩阵、偏差向量、训练数据等。对于这样的系统,大多数分析技术不是很有用,必须依赖于数字。这种情况与物理中发生的情况非常相似。物理系统(包括经典系统和量子系统)通常可以在自由度很小的时候被精确地解决,但是当自由度很大的时候,这个问题就变得棘手了。幸运的是,有一组思想被证明对于分析具有多个自由度的物理系统非常有用。它是统计力学。本文的重点是将统计力学的方法应用于机器学习。在本节的其余部分,我们将总结主要结果,因为它可能有助于读者浏览本文。

成为VIP会员查看完整内容
42

相关内容

机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
【2020新书】简明机器学习导论,电子书与500页PPT
专知会员服务
199+阅读 · 2020年2月7日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
29+阅读 · 2019年11月21日
理解五个基本概念,让你更像机器学习专家
云栖社区
5+阅读 · 2018年11月29日
【资源】这本开放书籍帮你扫清通往ML的数学绊脚石
机器学习算法与Python学习
55+阅读 · 2018年10月28日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
PCA的基本数学原理
算法与数学之美
11+阅读 · 2017年8月8日
Visualizing and Measuring the Geometry of BERT
Arxiv
7+阅读 · 2019年10月28日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
4+阅读 · 2019年1月14日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
VIP会员
相关资讯
理解五个基本概念,让你更像机器学习专家
云栖社区
5+阅读 · 2018年11月29日
【资源】这本开放书籍帮你扫清通往ML的数学绊脚石
机器学习算法与Python学习
55+阅读 · 2018年10月28日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
PCA的基本数学原理
算法与数学之美
11+阅读 · 2017年8月8日
相关论文
微信扫码咨询专知VIP会员