贝叶斯概率模型为不确定性下的相干推理和预测提供了一个原则框架。近似推理解决了贝叶斯计算的关键挑战,即计算棘手的后验分布和相关数量,如贝叶斯预测分布。近十年来,贝叶斯建模技术在计算机视觉、自然语言处理、强化学习等领域的机器学习任务中得到了广泛应用。
本教程对近似推理的最新进展进行了一个连贯的总结。我们将以介绍近似推理的概念和变分推理的基础知识开始本教程。然后我们将描述现代近似推理的基本方面,包括可扩展推理、蒙特卡洛技术、平摊推理、近似后验设计和优化目标。这些最新进展之间的联系也将被讨论。最后,我们将在下游不确定性估计和决策任务中的应用实例提供先进的近似推理技术,并对未来的研究方向进行讨论。