【简明书册】(随机)梯度方法的收敛定理手册，68页pdf

这是一本简单证明梯度收敛和随机梯度下降类型方法的手册。考虑Lipschitz函数、光滑函数、凸函数、强凸函数和/或Polyak- Lojasiewicz函数。我们的重点是简单的“好的证据”。每个部分可以单独参考。我们从梯度下降的证明开始，然后是随机变量，包括minibatching和momentum。然后使用次梯度方法、近端梯度下降法及其随机变体处理非光滑问题。我们的重点是全局收敛率和复杂度率。这里发现的一些不太常见的证明包括SGD(随机梯度下降)，近端步骤在第11节，动量在第7节，以及mini-batch在第6节。 https://arxiv.org/pdf/2301.11235.pdf本文收集了我们最喜欢的基于梯度和随机梯度方法的收敛性证明。我们的重点是简单的证明，这些证明易于复制和理解，并且能够达到最佳的收敛速度。