In this paper we propose a variant of New Q-Newton's method Backtracking (which is relevant to Levenberg-Marquardt algorithm, but with the argumentation chosen by New Q-Newton's method idea for good theoretical guarantee, and with Backtracking line search added) for to use specifically with systems of m equations in m variables. We fix $\delta _0=0 $ and $\delta _1=2$, and a number $0<\tau <1$. If $A$ is a square matrix, we denote by $minsp(A)=\min \{|\lambda |: $ $\lambda$ is an eigenvalue of $A\}$. Also, we denote by $A^{\intercal}$ the transpose of $A$. Given $F:\mathbb{R}^m\rightarrow \mathbb{R}^m$ a $C^1$ function, we denote by $H(x)=JF(x)$ the Jacobian of $F$, and $f(x)=||F(x)||^2$. If $x\in \mathbb{R}^m$ is such that $F(x)\not= 0$, we define various : $\delta (x)$ be the first element $\delta _j$ in $\{\delta _0,\delta _1\}$ so that $minsp(H(x)+\delta _j||F(x)||^{\tau } )\geq \min \{ ||F(x)||^{\tau},1\}$; $A(x)=H(x)^{\intercal}H(x)+\delta (x)||F(x)||^{\tau }Id$; $w(x)=A(x)^{-1}H(x)^{\intercal}F(x)$; (if $x$ is close to a non-degenerate zero of $F$, then $w(x)=H(x)^{-1}F(x)$ the usual Newton's direction) Note: we can normalise $w(x)/\max \{||w(x)|| ,1\}$ if needed $\gamma (x)$ is chosen from Armijo's Backtracking line search: it is the largest number $\gamma$ among $\{1,1/2,(1/2)^2,\ldots \}$ so that: $f(x-\gamma w(x))-f(x)\leq -\gamma <w(x),H(x)^{\intercal}F(x)>$; The update rule of our method is $x\mapsto x-\gamma (x)w(x)$. Good theoretical guarantees are proven, in particular for systems of polynomial equations. In "generic situations", we will also discuss a way to avoid that the limit of the constructed sequence is a solution of $H(x)^{\intercal}F(x)=0$ but not of $F(x)=0$.


翻译:在本文中, 我们提出一个新的 Q- Newton 方法的变体 返回跟踪( 与 Levenberg- Marquardt 算法相关, 但由 New Q- Newton 方法为良好的理论保证选择了参数, 并添加了后跟踪行搜索) 用于 m 方程式系统中的 m 变量。 我们修正 $delta_ 0=0 美元 和 $delta_ 1 美元, 和 $0 = 美元 。 如果 $= 平方 美元, 我们表示 $( Ax) 美元 ; 美元= 美元= 美元; 美元= 美元= 美元; 美元= 美元= 美元。 鉴于 $: mathb{ {\\\\\\\ r\ r\ 美元; 美元= 美元= 美元= 美元= (xxxx) 美元= 美元= 美元= (xxxxxx) 美元= ( 美元= 美元= 美元= 美元= 美元=xxxxxxxxx 美元= 美元= 美元= 美元=

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
85+阅读 · 2021年12月9日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
152+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(三)
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
推荐|Andrew Ng计算机视觉教程总结
全球人工智能
3+阅读 · 2017年11月23日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
3+阅读 · 2021年11月1日
Large-Scale Study of Curiosity-Driven Learning
Arxiv
8+阅读 · 2018年8月13日
Arxiv
5+阅读 · 2018年4月22日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(三)
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
LibRec 精选:基于LSTM的序列推荐实现(PyTorch)
LibRec智能推荐
50+阅读 · 2018年8月27日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
推荐|Andrew Ng计算机视觉教程总结
全球人工智能
3+阅读 · 2017年11月23日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Arxiv
3+阅读 · 2021年11月1日
Large-Scale Study of Curiosity-Driven Learning
Arxiv
8+阅读 · 2018年8月13日
Arxiv
5+阅读 · 2018年4月22日
Arxiv
9+阅读 · 2018年3月10日
Arxiv
8+阅读 · 2018年1月30日
Top
微信扫码咨询专知VIP会员