【ICLR2021】微分动态规划神经优化器

论文名称：DDPNOpt: Differential Dynamic Programming Neural Optimizer

论文链接:

https://www.zhuanzhi.ai/paper/9bd4fb54c41540ebb674f12141d91f37

作者：Guan-Horng Liu、Tianrong Chen、Evangelos Theodorou

推荐理由：将深度神经网络(Deep Neural Networks，DNNs)训练解释为一个非线性动态系统的最优控制问题，近来受到了相当大的关注。

在这项工作中，作者沿着这一思路进行了尝试，从轨迹优化的角度对训练过程进行了重构。在该工作中，大多数广泛使用的DNNs训练算法都可以与微分动态编程（Differential Dynamic Programming，DDP）联系起来，DDP是一种根植于近似动态编程的著名二阶方法。

为此，作者提出了一类新的优化器，即DDP神经优化器（DDP Neural Optimizer，DDPNOpt），用于训练前馈和卷积网络。

DDPNOpt的特点是层间反馈策略，与现有的方法相比，它可以提高收敛性并降低对超参数的敏感性。它在收敛性和复杂度上都优于其他最优控制启发的训练方法，并且与最先进的一阶和二阶方法相比具有竞争力。该工作还观察到DDPNOpt在防止梯度消失方面有惊人的优势。

该工作为建立在最优控制理论基础上的原则性算法设计开辟了新的途径。

图片