High-dimensional nonlinear optimization problems subject to nonlinear constraints can appear in several contexts including constrained physical and dynamical systems, statistical estimation, and other numerical models. Feasible optimization routines can sometimes be valuable if the objective function is only defined on the feasible set or if numerical difficulties associated with merit functions or infeasible termination arise during the use of infeasible optimization routines. Drawing on the Riemannian optimization and sequential quadratic programming literature, a practical algorithm is constructed to conduct feasible optimization on arbitrary implicitly defined constraint manifolds. Specifically, with $n$ (potentially bound-constrained) variables and $m < n$ nonlinear constraints, each outer optimization loop iteration involves a single $O(nm^2)$-flop factorization, and computationally efficient retractions are constructed that involve $O(nm)$-flop inner loop iterations. A package, LFPSQP.jl, is created using the Julia language that takes advantage of automatic differentiation and projected conjugate gradient methods for use in inexact/truncated Newton steps.


翻译:受非线性限制的高度非线性非线性优化问题可以出现在几种情况下,包括有限的物理和动态系统、统计估计和其他数字模型。如果目标功能只在可行的数据集上界定,或者在使用不可行的优化常规过程中出现与功绩功能或不可行的终止有关的数字困难,那么,可行的优化常规有时会很有价值。利用里曼优化和连续四极编程文献,构建了一个实用的算法,对任意的隐含的限制方块进行可行的优化。具体地说,由于美元(可能约束的)变量和美元 < nm < 非线性约束限制,每个外部优化循环循环的循环都涉及单一的O(nm%2)美元-软因子化,并且计算高效的反射过程涉及$(nm)美元-软式内环的外延。一个包件LFPSQP.jl是利用Julia语言创建的,它利用自动区分和预测的在exact/runted Newton 阶梯段中使用的同梯度方法。

0
下载
关闭预览

相关内容

专知会员服务
25+阅读 · 2021年4月2日
【硬核书】Linux核心编程|Linux Kernel Programming,741页pdf
专知会员服务
78+阅读 · 2021年3月26日
专知会员服务
41+阅读 · 2020年12月18日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
76+阅读 · 2020年7月26日
【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
244+阅读 · 2020年5月18日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
106+阅读 · 2020年5月15日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
168+阅读 · 2019年10月11日
word2Vec总结
AINLP
3+阅读 · 2019年11月2日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
【推荐】Python机器学习生态圈(Scikit-Learn相关项目)
机器学习研究会
6+阅读 · 2017年8月23日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2022年1月5日
Arxiv
0+阅读 · 2022年1月4日
VIP会员
相关VIP内容
专知会员服务
25+阅读 · 2021年4月2日
【硬核书】Linux核心编程|Linux Kernel Programming,741页pdf
专知会员服务
78+阅读 · 2021年3月26日
专知会员服务
41+阅读 · 2020年12月18日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
76+阅读 · 2020年7月26日
【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
244+阅读 · 2020年5月18日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
106+阅读 · 2020年5月15日
因果图,Causal Graphs,52页ppt
专知会员服务
238+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
168+阅读 · 2019年10月11日
相关资讯
word2Vec总结
AINLP
3+阅读 · 2019年11月2日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
【推荐】Python机器学习生态圈(Scikit-Learn相关项目)
机器学习研究会
6+阅读 · 2017年8月23日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员