统计学习理论之父Vapnik-MIT2020报告《完全学习统计理论Statistical Theory of Learning》- 专知

统计学习理论之父Vapnik-MIT2020报告《完全学习统计理论Statistical Theory of Learning》

【导读】MIT开设的深度学习课程邀请了众多机器学习大拿进行报告。最近，统计学习理论之父-SVM作者Vladimir Vapnik 给了关于学习统计理论的报告《Complete Statistical Theory of Learning》，介绍了统计学习一系列的基础理论，是当下深度学习时代探究学习理论值得认真思考的部分。

课件地址：

https://deeplearning.mit.edu/

视频地址：

https://www.youtube.com/watch?v=Ow25mjFjSmg

Vladimir Vapnik 被称为统计学习理论之父，他出生于俄罗斯，1990 年底移居美国，在美国贝尔实验室一直工作到 2002 年，之后加入了普林斯顿的 NEC 实验室机器学习研究组，同时任哥伦比亚大学特聘教授。2006 年，Vladimir 称为美国工程院院士。2014年 Vladimir Vapnik 加入 Facebook 人工智能实验室。Vladimir Vapnik 在机器学习上有很多奠基之作，例如 Vapnik–Chervonenkis 理论，Vladimir 是主要发明者。

报告地址：

0:00 -介绍

0:46 -概述:完整的学习统计理论

3:47 -第一部分:VC泛化理论

11:04 -第二部分:最小化的目标函数

27:13 -第三部分:可接受的函数集的选择

37:26 -第4部分:再现核希尔伯特空间的完全解

53:16 -第5部分:神经网络中的LUSI方法

59:28 -第6部分:谓词的例子

1:10:39——结论

【经典书】统计学习理论的本质（The Nature Of Statistical Learning Theory）——Vladimir Vapnik

《统计学习理论的本质》一书由统计学习理论的创始人Vladimir N. Vapnik所著，目前该书可检索到的引用已高达一万多次，足见该书在机器学习领域中的至高地位，是机器学习理论研究者案边的必备之书。而由于领悟统计学习理论是理解具体机器学习方法的必经之路，因此该书对那些仅对具体的构造性机器学习方法感兴趣的实际工作者而言也极有参考价值。

该书以Vapnik-Chervonenkis（VC）理论为统计学习理论的一般数学框架，没有数学证明，只讲述VC理论的概念和主要结果。最后一章讨论了由作者和其合作者Alexey Ya. Chervonenkis于1963年提出的著名的构造性机器学习方法-支持向量机。该方法在深度学习算法出现之前一直被认为是机器学习中近十年来最成功、表现最好的方法。