We introduce a novel adaptive damping technique for an inertial gradient system which finds application as a gradient descent algorithm for unconstrained optimisation. In an example using the non-convex Rosenbrock's function, we show an improvement on existing momentum-based gradient optimisation methods. Also using Lyapunov stability analysis, we demonstrate the performance of the continuous-time version of the algorithm. Using numerical simulations, we consider the performance of its discrete-time counterpart obtained by using the symplectic Euler method of discretisation.


翻译:我们为惯性梯度系统引入了一种新的适应性障碍技术,该技术将应用作为不受限制的最佳化的梯度下限算法。在使用非曲线罗森布罗克功能的例子中,我们展示了现有动力梯度优化方法的改进。此外,我们使用Lyapunov稳定性分析,演示了该算法的连续时间版本的性能。我们使用数字模拟,考虑了通过使用静电电离析法获得的离散时间对应方的性能。

0
下载
关闭预览

相关内容

【干货书】数值Python计算,Numerical Python,709页pdf
专知会员服务
107+阅读 · 2021年5月30日
【干货书】计算机科学,647页pdf,Computer Science
专知会员服务
44+阅读 · 2021年5月10日
【干货书】机器学习速查手册,135页pdf
专知会员服务
123+阅读 · 2020年11月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
76+阅读 · 2020年7月26日
专知会员服务
138+阅读 · 2020年5月19日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
107+阅读 · 2020年5月15日
MIT新书《强化学习与最优控制》
专知会员服务
272+阅读 · 2019年10月9日
17种深度强化学习算法用Pytorch实现
新智元
30+阅读 · 2019年9月16日
《自然》(20190829出版)一周论文导读
科学网
6+阅读 · 2019年8月30日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
5+阅读 · 2018年3月21日
Arxiv
0+阅读 · 2021年10月18日
VIP会员
相关VIP内容
【干货书】数值Python计算,Numerical Python,709页pdf
专知会员服务
107+阅读 · 2021年5月30日
【干货书】计算机科学,647页pdf,Computer Science
专知会员服务
44+阅读 · 2021年5月10日
【干货书】机器学习速查手册,135页pdf
专知会员服务
123+阅读 · 2020年11月20日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
76+阅读 · 2020年7月26日
专知会员服务
138+阅读 · 2020年5月19日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
107+阅读 · 2020年5月15日
MIT新书《强化学习与最优控制》
专知会员服务
272+阅读 · 2019年10月9日
相关资讯
17种深度强化学习算法用Pytorch实现
新智元
30+阅读 · 2019年9月16日
《自然》(20190829出版)一周论文导读
科学网
6+阅读 · 2019年8月30日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
5+阅读 · 2018年3月21日
Top
微信扫码咨询专知VIP会员