【ICLR2021】微分动态规划神经优化器

论文名称：DDPNOpt: Differential Dynamic Programming Neural Optimizer

论文链接:

 https://www.zhuanzhi.ai/paper/9bd4fb54c41540ebb674f12141d91f37

作者：Guan-Horng Liu、Tianrong Chen、Evangelos Theodorou

推荐理由：将深度神经网络(Deep Neural Networks，DNNs)训练解释为一个非线性动态系统的最优控制问题，近来受到了相当大的关注。

在这项工作中，作者沿着这一思路进行了尝试，从轨迹优化的角度对训练过程进行了重构。在该工作中，大多数广泛使用的DNNs训练算法都可以与微分动态编程（Differential Dynamic Programming，DDP）联系起来，DDP是一种根植于近似动态编程的著名二阶方法。

为此，作者提出了一类新的优化器，即DDP神经优化器（DDP Neural Optimizer，DDPNOpt），用于训练前馈和卷积网络。

DDPNOpt的特点是层间反馈策略，与现有的方法相比，它可以提高收敛性并降低对超参数的敏感性。它在收敛性和复杂度上都优于其他最优控制启发的训练方法，并且与最先进的一阶和二阶方法相比具有竞争力。该工作还观察到DDPNOpt在防止梯度消失方面有惊人的优势。

该工作为建立在最优控制理论基础上的原则性算法设计开辟了新的途径。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“DDPN” 就可以获取《【ICLR2021】微分动态规划神经优化器》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源