【经典书】从数据中学习，第二版，LEARNING FROM DATA Concepts, Theory, and Methods

学习方法的跨学科框架——包括统计学、神经网络和模糊逻辑，本书提供了从数据中学习依赖的原则和方法的统一处理。它建立了一个通用的概念框架，其中可以应用统计学、神经网络和模糊逻辑的各种学习方法，这表明了一些基本原则是当今在统计学、工程学和计算机科学中提出的大多数新方法的基础。书中有一百多幅插图、案例分析和实例，使其成为一本非常有价值的书。

第一部分:概念和理论(第1-4章)。

在第一章的介绍和动机的基础上，我们在第二章给出了归纳学习问题的形式化描述，并介绍了从数据中学习的主要概念和问题。特别地，它描述了一个叫做归纳原理的重要概念。第3章描述了统计中采用的规则化(或惩罚)框架。第四章介绍了Vapnik的统计学习理论(SLT)，为有限数据预测学习提供了理论基础。SLT，又名VC理论，对于理解在神经网络、统计和模式识别中开发的各种学习方法，以及开发新的方法，如支持向量机(在第9章中描述)和非归纳学习设置(在第10章中描述)非常重要。

第二部分构造性学习方法(第5-8章)。

这部分描述了回归、分类和密度近似问题的学习方法。目的是展示源于统计、神经网络和信号处理的方法的概念相似性，并讨论它们的相对优势和局限性。只要有可能，我们将构造学习方法与第一部分的概念框架联系起来。第5章描述了各种方法中常用的非线性优化策略。第6章描述了密度近似的方法，包括统计、神经网络和信号处理技术用于数据约简和降维。第7章提供了统计和神经网络回归方法的描述。第8章描述了分类方法。

第三部分: 基于VC的学习方法(第9章和第10章)。

在这里，我们描述了源自VC理论的构造性学习方法。这包括用于几个归纳学习问题的支持向量机(或基于边际的方法)(在第9章)和各种非归纳学习公式(在第10章描述)。