【干货书】贝叶斯推理和机器学习，610页pdf

在过去的十年里，人们对人工智能和机器学习的兴趣有了相当大的增长。从最广泛的意义上说，这些领域旨在“学习一些有用的东西”，了解生物体所处的环境。如何处理收集到的信息导致了算法的发展——如何处理高维数据和处理不确定性。在机器学习和相关领域的早期研究阶段，类似的技术在相对孤立的研究社区中被发现。虽然不是所有的技术都有概率论的自然描述，但许多都有，它是图模型的框架(图和概率论的结合)，使从统计物理、统计、机器学习和信息理论的想法的理解和转移。在这种程度上，现在有理由期待机器学习研究人员熟悉统计建模技术的基础知识。这本书集中在信息处理和机器学习的概率方面。当然，没有人说这种方法是正确的，也没有人说这是唯一有用的方法。事实上，有人可能会反驳说，这是没有必要的，因为“生物有机体不使用概率论”。无论情况是否如此，不可否认的是，图模型和概率框架帮助机器学习领域出现了新算法和模型的爆炸式增长。我们还应该清楚，贝叶斯观点并不是描述机器学习和信息处理的唯一方法。贝叶斯和概率技术在需要考虑不确定性的领域中发挥了自己的作用。

http://www0.cs.ucl.ac.uk/staff/d.barber/brml/

本书结构

本书第一部分的目的之一是鼓励计算机科学专业的学生进入这一领域。许多现代学生面临的一个特别困难是有限的正规微积分和线性代数训练，这意味着连续和高维分布的细节可能会让他们离开。在以概率作为推理系统的一种形式开始时，我们希望向读者展示他们可能更熟悉的逻辑推理和动态规划的想法如何在概率环境中有自然的相似之处。特别是，计算机科学的学生熟悉的概念，算法为核心。然而，在机器学习中更常见的做法是将模型视为核心，而如何实现则是次要的。从这个角度来看，理解如何将一个数学模型转换成一段计算机代码是核心。

第二部分介绍了理解连续分布所需的统计背景，以及如何从概率框架来看待学习。第三部分讨论机器学习的主题。当然，当一些读者看到他们最喜欢的统计话题被列在机器学习下面时，他们会感到惊讶。统计学和机器学习之间的一个不同观点是，我们最终希望构建什么样的系统(能够完成“人类/生物信息处理任务的机器)，而不是某些技术。因此，我认为这本书的这一部分对机器学习者来说是有用的。第四部分讨论了明确考虑时间的动态模型。特别是卡尔曼滤波器被视为图模型的一种形式，这有助于强调模型是什么，而不是像工程文献中更传统的那样把它作为一个“过滤器”。第五部分简要介绍了近似推理技术，包括随机(蒙特卡罗)和确定性(变分)技术。