人工智能名人堂第46期 | 机器学习泰斗：弗拉基米尔·万普尼克

2017 年 9 月 25 日 德先生

丘吉尔曾说过，“The longer you can look back, the farther you can look forward. (回顾历史越久远，展望未来就越深远)”，为纪念人工智能领域做出杰出贡献的先辈与开拓者们，鼓励更多后起之秀投身该领域，人工智能国际杂志《IEEE Intelligent Systems》自2006年始至今陆续推选出了60位人工智能专家(参看《诺伯特·维纳奖得主王飞跃 | AI 名人堂，世界人工智能60年60位名人榜》)。德先生自2016年10月31日起，已定期于每周一在微信公众号（D-Technologies）上发布人工智能名人堂60位成员的相关介绍。往期内容可查看延伸阅读。

弗拉基米尔·万普尼克(Vladimir Naumovich Vapnik，1936—)，俄罗斯统计学家、数学家。他是统计学习理论(Statistical Learning Theory)的主要创建人之一。该理论也被称作VC理论(Vapnik Chervonenkis theory)。

代表作有：

1.基于经验数据的依赖性估计 (Estimation of Dependences Based on Empirical Data), 1982

2.统计学习理论的本质 (The Nature of Statistical Learning Theory), 1995

3.统计学习理论 (Statistical Learning Theory), 1998

4.基于经验数据的依赖性估计(第二版) (Estimation of Dependences Based on Empirical Data, 2nd Edition), 2006

人物生平

1936年，弗拉基米尔·万普尼克出生于苏联。1958年，他在撒马尔罕(现属乌兹别克斯坦)的乌兹别克国立大学完成了硕士学业。1964年，他于莫斯科的控制科学学院获得博士学位。毕业后，他一直在该校工作直到1990年，在此期间，他成为了该校计算机科学与研究系的系主任。

1995年，他被伦敦大学聘为计算机与统计科学专业的教授。1991至2001年间，他工作于AT&T贝尔实验室(后来的香农实验室)，并和他的同事们一起发明了支持向量机理论。他们为机器学习的许多方法奠定了理论基础。

2002年，他在新泽西州普林斯顿的NEC实验室工作。他同时担任哥伦比亚大学的特聘教授。

2006年，他成为美国国家工程院院士。

万普尼克是支持向量机的机器学习Vapnik–Chervonenkis理论的联合创建人，他获得了众多奖项。如今则成为了Facebook人工智能实验室的成员。

科研成果

1.统计学习理论（Statistical Learning Theory，SLT）

统计学习理论是研究利用经验数据进行机器学习的一种一般理论，属于计算机科学、模式识别和应用统计学相交叉与结合的范畴。统计学习理论的基本内容诞生于20世纪60~~70年代，到90年代中期发展到比较成熟并受到世界机器学习界的广泛重视，

由这套理论所引出的支持向量机对机器学习的理论界以及各个应用领域都有极大的贡献。

统计学习理论是一种研究训练样本有限情况下的机器学习规律的学科。它可以看作是基于数据的机器学习问题的一个特例，即有限样本情况下的特例。统计学习理论从一些观测（训练）样本出发，从而试图得到一些目前不能通过原理进行分析得到的规律，并利用这些规律来分析客观对象，从而可以利用规律来对未来的数据进行较为准确的预测。例如，对全国未来几年人口数量进行预测，就需要先采集到过去几年甚至几十年的人口数据，并对其变化规律做出统计学方面的分析和归纳，从而得到一个总体的预测模型，这样就可以对未来几年的人口总体走势作一个大概的估计和预测。显然，这里采集到的过去人口的数据越准确，年份越长，分析归纳得到的统计规律就越准确，对未来人口预测就越接近真实水平。另外，如果只采集到了过去几年的人口数据，那么，这样得到的统计模型无论如何也是不够完美的。所以，不难发现，统计学习理论主要是研究以下三个问题：

①　学习的统计性能：通过有限样本能否学习得到其中的一些规律？

②　学习算法的收敛性：学习过程是否收敛?收敛的速度如何？

③　学习过程的复杂性：学习器的复杂性、样本的复杂性、计算的复杂性如何？

如今，统计学习理论在模式分类、回归分析、概率密度估计方面发挥着越来越重要的作用。

2.支持向量机（Support Vector Machine，SVM）

支持向量机是由Vapnik领导的AT&T Bell实验室研究小组在1995年提出的一种新的非常有潜力的分类技术，SVM是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。由于当时这些研究尚不十分完善，在解决模式识别问题中往往趋于保守，且数学上比较艰涩，这些研究一直没有得到充分的重视。

直到90年代，统计学习理论 (Statistical Learning Theory，SLT)的实现和由于神经网络等较新兴的机器学习方法的研究遇到一些重要的困难，比如如何确定网络结构的问题、过学习与欠学习问题、局部极小点问题等，使得SVM迅速发展和完善，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。从此迅速的发展起来，已经在许多领域(生物信息学，文本和手写识别等)都取得了成功的应用。

在地球物理反演当中解决非线性反演也有显著成效，例如（支持向量机在预测地下水涌水量问题等）。已知该算法被应用的主要有：石油测井中利用测井资料预测地层孔隙度及粘粒含量、天气预报工作等。

支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折中，以求获得最好的推广能力。

支持向量机中的一大亮点是在传统的最优化问题中提出了对偶理论，主要有最大最小对偶及拉格朗日对偶。

SVM的关键在于核函数。低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，就可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。

在确定了核函数之后，由于确定核函数的已知数据也存在一定的误差，考虑到推广性问题，因此引入了松弛系数以及惩罚系数两个参变量来加以校正。在确定了核函数基础上，再经过大量对比实验等将这两个系数取定，该项研究就基本完成，适合相关学科或业务内应用，且有一定能力的推广性。当然误差是绝对的，不同学科、不同专业的要求不一。

支持向量机的理解需要数据挖掘或机器学习的相关背景知识，在没有背景知识的情况下，可以先将支持向量机看作简单分类工具，再进一步引入核函数进行理解。

📚往期文章推荐