【博士论文】Stein变分梯度下降与基于共识的优化：趋向于收敛分析与泛化，195页pdf

这篇论文的第一部分研究了Stein变分梯度下降（SVGD）的收敛性质，这是一种在机器学习中有应用的采样算法。研究深入探讨了SVGD在总体极限下的理论分析，重点关注其在不同条件下的行为，包括Talagrand不等式T1和(L0, L1)平滑性条件。研究还引入了一种改进版本的SVGD，具有重要权重，展示了其加速收敛和增强稳定性的潜力。

在第二部分，论文探讨了基于共识的优化（CBO）方法的收敛性。我们首先提出了带截断噪声的共识优化方法，并为该方法提供了非凸和非光滑目标函数的全局收敛性理论保证。我们还设计了一种CBO动态，以找到具有多个全局最优解的目标的全局最优解。对于这种动态，我们提供了理论保证，证明其将集中在目标函数的全局最优解集合周围。

相互作用粒子系统在采样和全局优化领域已成为一种引人入胜且强大的方法，提供了一个多功能的框架来解决复杂问题。这些系统利用粒子或代理的集体行为来高效地探索高维空间并找到最优解。众多研究表明，相互作用粒子系统在各个领域的有效性，使其成为一个有前途的研究领域。本论文将重点关注两种类型的相互作用粒子系统：用于采样的Stein变分梯度下降（SVGD）和用于全局优化任务的基于共识的优化（CBO）。 论文的第一部分（第2、3和4章）聚焦于SVGD在总体极限下的收敛性。在第2章中，在Talagrand不等式T1的条件下（该条件在对分布尾部有某些假设时成立），我们建立了SVGD的收敛结果和复杂度界，涉及问题的维度和期望的精度。分析表明，即使势函数不是凸的，当粒子数量趋于无限时，SVGD也可以收敛到目标分布。在第3章中，我们探讨了一种放松的光滑性条件，即(L0, L1)平滑性及其对SVGD收敛性的影响。我们在这种设定下提供了一个下降引理和复杂度分析，展示了在某些条件下平均Stein-Fisher信息的收敛性。在第4章中，我们引入了一种改进版本的SVGD，称为β-SVGD，结合了重要权重，潜在地加速算法的收敛。我们对β-SVGD流进行了理论分析，建立了其总体极限版本的下降引理，并通过实验验证了理论预测。结果表明，β-SVGD在收敛速度和稳定性方面可以优于传统的SVGD。

在第二部分（第5和6章），论文致力于研究基于共识的优化（CBO）方法。在第5章中，我们提出了带截断噪声的基于共识的优化（CBO）方法，这是一种用于找到非凸和非光滑成本函数全局最优解的方法。我们提供了带截断噪声的CBO算法全局收敛性的理论保证，并通过数值实验展示了其有效性。在第6章中，我们探讨了CBO在具有多个全局最优解的目标中的应用，提出了一种新的动态，该动态理论上可以随时间推移集中在全局最优解集合周围。