【新书】《普适人工智能导论》DeepMind Hutter等编著，附pdf与Slides

http://www.hutter1.net/ai/uaibook2.htm 这本书提供了对普适人工智能（UAI）的温和介绍，UAI 是一种理论，为智能体在未知环境中进行智能行为提供了形式化的基础。UAI 最早在 [Hut00, Hut05b] 中提出，提供了一个框架，在这个框架中，几乎所有其他的人工智能问题都可以被表述，并且可以提出相应的解决理论。UAI 结合了顺序决策理论、贝叶斯推理和算法信息理论的思想，构建了 AIXI，这是一种最优的强化学习智能体，能够在未知环境中学习如何做出最优决策。AIXI 是智能行为的理论黄金标准。本书涵盖了 UAI 的理论与实践两个方面。通过上下文树加权（Context Tree Weighting，CTW）可以高效地进行贝叶斯更新，规划则可以通过蒙特卡洛树搜索（Monte Carlo Tree Search）进行近似。本书提供了可供读者实现的算法，以及与之进行比较的实验结果。这些算法用于逼近 AIXI。本书最后通过哲学讨论人工通用智能（Artificial General Intelligence, AGI）问题进行总结：智能体是否真的能够被构造出来？它们的构造是否不可避免？它们被构造出来的潜在后果是什么？

介绍

第一章首先概述了人工智能（AI）问题，并解释了我们为何希望解决这个问题。然后，我们非正式地介绍了普适人工智能（UAI）方法，以及这种方法与其他解决 AI 问题的方案相比所具有的各种优势。第二章介绍了数学背景和必要的前置知识，包括（贝叶斯）概率论与统计学、信息论、可计算性理论以及（算法）信息论。

算法预测

第三章讨论了算法预测的问题。具体而言，我们提供了关于普适贝叶斯混合（universal Bayesian mixture）理论结果，并展示了它是如何从理论上解决预测问题的。贝叶斯混合的一个缺点是它的计算可能非常复杂。第四章提供了一个连贯的解释，介绍了一种实用且可实现的算法——上下文树加权（CTW），该算法用于计算贝叶斯混合并进行预测。第五章进一步扩展了 CTW 算法，允许进行更一般的预测。

普适智能体的家族

第六章介绍了基于历史的强化学习框架，并展示了如何在这个框架中捕捉 AI 问题。第七章提供了强化学习问题的贝叶斯解决方案——AIXI，并证明它是最智能的智能体。第八章讨论了在一般强化学习框架中的各种最优性度量和概念，并阐述了为何某些最优性概念可能比其他概念更受偏爱。第九章介绍了普适智能体的家族，其中许多是 AIXI 智能体的扩展和变体，并解释了这些智能体如何扩展 UAI 理论。第十章引入了博弈论的概念，并解释了它们如何应用于多智能体视角下的强化学习问题。特别是，提出了解决“真理之粒”问题的方法。

逼近普适智能体

第十一章描述了 AIXI 智能体的一个简单逼近方法，该方法能够学习并玩简单游戏。第十二章进一步介绍了一种更复杂的 AIXI 逼近方法，基于 CTW 算法和蒙特卡洛树搜索（Monte Carlo Tree Search），该方法能够在更复杂的游戏中表现良好。我们还提供了其他一些被提出的 AIXI 和 UAI 的逼近算法，并通过讨论它们的优缺点来激励这些算法的提出。第十三章探讨了普适智能体的（不可）计算性，并提出了最接近的可计算 AIXI 逼近——AIXItl。

替代方法

第十四章深入探讨了解决一般强化学习问题的替代方法——特征强化学习（Feature Reinforcement Learning）。我们展示了从理论和实践的角度来看，采用这种方法是非常有吸引力的。

安全性与讨论

第十五章概述了与安全构建超级智能体相关的诸多问题，并探讨了如何在 UAI 框架内研究这些问题。我们讨论了在 UAI 框架中提出的、可以解决这些问题的一些潜在解决方案。第十六章讨论了迄今为止所涉及的许多哲学问题，包括支持与反对人工通用智能（AGI）可能存在的论点，以及智能本身的哲学与数学问题。内容： * Part I: Introduction * Part II: Algorithmic Prediction * Part III: A Family of Universal Agents * Part IV: Approximating Universal Agents * Part V: Alternative Approaches * Part VI: Safety and Discussion