最新《机器学习理论初探》概述

尽管有很多尝试[1-6]，深度学习的有效性到目前为止还没有明确的解释。考虑到神经网络是一个非常简单且定义良好的数学对象，这相当令人惊讶[7-9]。使分析变得困难的是深度神经网络通常是用大量的参数来描述的，例如权重矩阵、偏差向量、训练数据等。对于这样的系统，大多数分析技术不是很有用，必须依赖于数字。这种情况与物理中发生的情况非常相似。物理系统(包括经典系统和量子系统)通常可以在自由度很小的时候被精确地解决，但是当自由度很大的时候，这个问题就变得棘手了。幸运的是，有一组思想被证明对于分析具有多个自由度的物理系统非常有用。它是统计力学。本文的重点是将统计力学的方法应用于机器学习。在本节的其余部分，我们将总结主要结果，因为它可能有助于读者浏览本文。