【博士论文】自适应、鲁棒且可扩展的贝叶斯滤波方法用于在线学习

在本论文中，我们引入贝叶斯滤波作为一个有理论基础的框架，用以解决多种序列机器学习问题，包括在线（持续）学习、预序列（一步预测）预测以及上下文赌博问题。为实现这一目标，本文聚焦于将贝叶斯滤波应用于这些问题时所面临的关键挑战：适应非平稳环境的能力、对模型错设与异常值的鲁棒性，以及在高维参数空间（如深度神经网络）中的可扩展性。 针对上述挑战，我们在贝叶斯滤波框架下提出了多项新方法，包括： (i) 一个模块化框架，支持在线学习中自适应方法的开发； (ii) 一种新颖且在计算复杂度上可与标准滤波器媲美、具有理论保证的鲁棒滤波器，基于广义贝叶斯（Generalised Bayes）方法实现； (iii) 一套利用近似二阶优化方法的工具，用于对模型参数进行序列更新，特别适用于神经网络等高度过参数化的模型。 理论分析与实证结果表明，我们的方法在动态、高维、以及模型错设的环境中均表现出显著优越的性能。