Anderson acceleration is widely used for accelerating the convergence of fixed-point methods $x_{k+1}=q(x_{k})$, $x_k \in \mathbb{R}^n$. We consider the case of linear fixed-point methods $x_{k+1}=M x_{k}+b$ and obtain polynomial residual update formulas for AA($m$), i.e., Anderson acceleration with window size $m$. We find that the standard AA($m$) method with initial iterates $x_k$, $k=0, \ldots, m$ defined recursively using AA($k$), is a Krylov space method. This immediately implies that $k$ iterations of AA($m$) cannot produce a smaller residual than $k$ iterations of GMRES without restart (but without implying anything about the relative convergence speed of (windowed) AA($m$) versus restarted GMRES($m$)). We introduce the notion of multi-Krylov method and show that AA($m$) with general initial iterates $\{x_0, \ldots, x_m\}$ is a multi-Krylov method. We find that the AA($m$) residual polynomials observe a periodic memory effect where increasing powers of the error iteration matrix $M$ act on the initial residual as the iteration number increases. We derive several further results based on these polynomial residual update formulas, including orthogonality relations, a lower bound on the AA(1) acceleration coefficient $\beta_k$, and explicit nonlinear recursions for the AA(1) residuals and residual polynomials that do not include the acceleration coefficient $\beta_k$. We apply these results to study the influence of the initial guess on the asymptotic convergence factor of AA(1).


翻译:安德森加速率被广泛用于加速固定点方法的趋同 $x ⁇ k+1 ⁇ q(x ⁇ k})$, $x_k $@in\mathb{R ⁇ n$。 我们考虑线性固定点方法的情况 $x ⁇ k+1 ⁇ M x ⁇ k ⁇ b$, 并获得AA( 美元) 的多数值残留更新公式, 即AAA( 美元) 的AA( 美元) 加速度, 窗口大小为百万美元。 我们发现标准AAA( 美元) 方法, 初始的 美元, 美元, 焊多数值, 使用A( 美元) 自动加速度定义, 直线性计算A( 美元) 离子值, 直线性计算A( 美元) 离子值。

0
下载
关闭预览

相关内容

专知会员服务
155+阅读 · 2021年3月6日
专知会员服务
50+阅读 · 2020年12月14日
专知会员服务
113+阅读 · 2020年10月8日
专知会员服务
123+阅读 · 2020年9月8日
【干货书】数值计算C编程,319页pdf,Numerical C
专知会员服务
67+阅读 · 2020年4月7日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
已删除
将门创投
3+阅读 · 2019年4月12日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Arxiv
0+阅读 · 2021年11月19日
VIP会员
相关VIP内容
相关资讯
已删除
将门创投
3+阅读 · 2019年4月12日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员