易图秒懂の机器学习诞生奠基篇

2017 年 8 月 20 日 数萃大数据 史春奇

【数萃大数据】公众号又开办了一个新栏目，之后我们每周末会为大家分享各种趣闻趣事名人好书。

我们将连续转载史春奇老师高品质的推文。感谢史春奇老师的授权以及对数萃大数据学院的大力支持！

在“易图秒懂の人工智能诞生”、 “易图秒懂の符号主义诞生” 和 “易图秒懂の连接主义诞生”，我们看到人工智能的发展经历了符号主义和连接主义的壮大的洗礼。其实它还有另外一个方向：经验主义，也经历了爆发成长，这就是机器学习。其实深度学习是连接主义+经验主义融合的一个产物。

但是，机器学习在深度学习崛起之前，基本上不愿意称自己是做人工智能的。往往形成一个鄙视链：做机器学习的看不起做人工智能的，做统计的看不起做机器学习的，做概率/数学的看不起做统计的。深度学习的大爆发，让一切看起来变得和谐了。谁都愿意称自己是做人工智能的。赞赞的~~~

前言

前面讲过，人工智能的发展归根到底都可以看成两个大学的影响：哥廷根大学和剑桥大学（参考“易图秒懂の人工智能诞生"）。如果再仔细看下图，不是还有一个莱布尼茨么？对的，除了哲学思想，微积分创立，肯定只要有数学分析就有他的影响。

既然，机器学习是人工智能的一个分支，那么可不可以说，机器学习归根到底也是哥廷根大学和剑桥大学的影响。也是可以的！为什么这么说呢？等后面，我们慢慢道来。

另外，在神经网络被搞物理的人在默默发展的时候，尤其能量函数的提出，为Hopfield网络的发展奠定了基础，提到了收敛性的证明。讲到了Lyapunov，其实他就和莱布尼茨关系巨大。这又是怎么关联的呢？

一图抵千言

来自剑桥大学的影响

剑桥大学除了哲学，逻辑，数学有着深刻的影响力，还有生物学，从剑桥走出了达尔文，达尔文影响了统计的诞生。当然还有文学，徐志摩，林徽因~

统计学的诞生，对机器学习的发展影响巨大，大到有时候机器学习也被统计的人称为统计学习。对于统计历史，”Lasso简史“里面有详细的说明。这里稍微图谱一下。妒忌表兄达尔文的高尔顿建立了实验室，后来成为伦敦大学院的统计系，系里跑出一个老师，创立了美国第一个统计系--伯克利大学统计系。

在”机器学习背后的男人们“里面，我们提到，达尔文还影响了另外一波人。剑桥校友Mike的老板实现了McCarthy发明的LISP语言的第一个通用编译器。而这个Mike的学生，Leslie 奠定机器学习基础的理论--PAC学习。

有了PAC学习之后，是不是就可以了呢？

PAC学习之后，较为容易地就有了经验风险最小理论，但是还需要NFL定理（别名：没有免费的午餐No Free Lunch定理）。看过周志华大神的西瓜书的人，一定好奇，为啥一上来就讲这个NFL定理？其实这个定理决定了，框架搭好了，根据目标不同，优化便有差异。而这个优化的基础是谁奠基的呢？

来自莱布尼兹的影响

彼得堡学派，几乎奠定了优化的大部分理论基础，直到Vapnik大神奠基了支持向量机，提出了Margin理论。开启了后面一切的牛B模式。而这个彼得堡学派，某种意义上是受到了伯努利家族的影响，而伯努利兄弟之所以这么厉害的原因之一，也是他们有了个好朋友叫莱布尼兹。怎么联系起来的呢？请大家移步去看我之前的文章”机器学习背后的男人们“，里面有更为详细的解释。

这样看来，剑桥大学校友影响力下迸发了PAC学习，莱布尼茨影响下推进了彼得堡学派做优化，那么哥廷根大学影响了什么呢？

来自哥廷根大学的影响

又是克莱因的徒孙Lefschetz，我们现在提到Lefschetz第三个学生，前面有发现KKT条件的Tucker， Tucker的学生Minsky和另外一个学生McCarthy创立人工智能。第三个学生 Tukey发明了Jackknife方法，他的一位华人学生钟开莱在斯坦福大学任教，将Jackknife的影响带到了斯坦福大学，钟开莱的同事Efron受Jackknife影响，发明了Bootstrap方法。从此，开启了斯坦福大学统计学“冲上云霄”模式，参考”Lasso简史“。