【CMU博士论文】统计博弈理论，Statistical Game Theory，279页pdf

博弈论和统计学是两个科学学科，它们在包括计算机科学、自然科学和社会科学在内的各种领域的发展中发挥了重要作用。传统上，博弈论被用于战略环境下的决策，其中多个智能体相互作用。另一方面，统计学传统上用于非对抗性环境下的推理，在这种环境中，假设样本是由某个平稳的非无反应源产生的。由于博弈论和统计学经常被研究的背景不同，这两个学科传统上被认为是不同的研究领域。然而，这两个领域之间有很大程度的共同点。在古典和现代统计学中，有很多令人惊讶的问题都有博弈论的成分。传统上，统计学的数学哲学，尤其是频率主义统计学，假设样本的来源是潜在的对抗的。这就产生了丰富的极大极小统计对策和估计理论。提升算法通常被认为是最好的现成分类器，但它可以被视为在与学习能力较弱的人玩零和博弈。为了考虑到“测试环境”与“训练环境”之间的各种偏离，鲁棒机器学习这一新兴领域允许对训练或测试环境进行对抗性操作。最后，在现代机器学习中出现了一种密度估计的新类别，使用密度估计的对抗性“批评”来改进最终的密度估计。这些经典和现代发展的共同主题是统计估计和多人博弈之间的相互作用。

统计博弈论是一个统一的分析和算法框架，支撑着所有这些古典和现代的发展。本文旨在奠定统计博弈论的基础，以解决上述(以及更多)统计问题。虽然我们在这篇论文的主要焦点是极大极小统计估计和增强，这里开发的工具和技术是广泛适用的，并有助于研究其他问题，如鲁棒学习和对抗密度估计。我们在极大极小统计估计方面的工作旨在为构造极大极小最优估计提供有效的算法技术。这些技术自动化了设计极大极小估计器的过程，并可以帮助统计人员构建这些估计器。对于各种基本问题，如均值估计和熵估计，我们的极大极小估计算法匹配，如果不是击败，由统计学家设计的现有极大极小估计的性能。我们对boosting的研究旨在提高它的性能，使其更接近神经网络的性能。为此，我们开发了一个广义提升框架，该框架使用比传统提升中考虑的加性组合更复杂的聚合形式来组合弱分类器。我们的广义boosting算法比传统的boosting算法具有更好的性能，性能接近于神经网络。