不动点迭代之安德森加速

在数学中，函数的不动点（Fixed point, or shortened to fixpoint, also knowns as invariant point)，指的是在函数定义域内的某一个值，经过函数映射后的值还是其本身。在科学和工程领域中，很多问题可以归结为不动点问题，如下：

$x = G(x)\cdots\cdots\cdots\cdots\cdots\cdots \cdots \cdots (1)$

这里 $x\in \mathbb{C}^{n}$ 和 $G: \mathbb{C}^{n}\rightarrow \mathbb{C}^{n}$ 是一个映射( $\mathbb{C}$ 是复数空间)。 (1)可以使用不动点迭代方法求解，如下

$\textup{\textbf{Fixed-point iteration}}\\ \indent\textup{Given an initial guess}~x_0\\ \indent \text{for~k=0,1,2,}\cdots\\ \indent\indent\text{Set} ~x_{k+1}=G(x_{k})\cdots\cdots\cdots\cdots(2)\\ \indent \text{end}$

此迭代格式若收敛，需要满足一定的收敛条件。在收敛性满足条件下，为了加速不动点跌倒的收敛速度，最初的想法是在迭代格式（2）后引入一个松弛迭代，进行外推加速。如下：

$\left\{\begin{matrix} x^{*}_{k+1}=G(x_k)\\ x_{k+1}=\omega x^{*}_{k+1}+(1-\omega)x_k \end{matrix}\right.$

这里 $\omega$ (一般选为实数，也可以是一个复数)是一个松弛因子。最终的迭代格式等价于 $x_{k+1}=\omega G(x_k)+(1-\omega)x_k$ 。借鉴这个思想，求解不动点问题(1)的安德森加速方法如下：

$\noindent\textbf{Anderson~Acceleration(AA)~method}\\ \indent\textup{Given an initinal guess} ~x_{0}~ \textup{and} ~m\geqslant 1}\\ \indent\textup{Set}~x_1=G(x_0)\\ \indent \textup{for}~k=1,2,3\cdots\\ \indent\indent \textup{Set}~m_k=\min(m,k).\\ \indent\indent F_k=(f_{k-m_k},\cdots\cdots,f_k), where ~ f_i=G(x_i)-x_i.\\ \indent\indent Determine~\alpha^{(k)}=(\alpha^{(k)}_{0},\cdots\cdots,\alpha^{(k)}_{m_{k}})^T~that~solves\\ \indent\indent\indent \displaystyle\min_{\alpha=(\alpha_0,\cdots\cdots,\alpha_{mk})^T}}\|F_k\alpha\|_2~s.t.~ \sum^{m_k}_{i=0}\alpha_i=1.\\ \indent\indent\textup{Set}~x_{k+1}=\sum^{m_k}_{i=0}\alpha^{(k)}_{i}G(x_{k-m_k+i})\\ \indent \textup{end}$

更一般地，可以将 $x_{k+1}$ 表示如下：

$x_{k+1}=(1-\beta_k)\sum^{m_k}_{i=0}\alpha^{(k)}_{i}x_{k-m_k+i}+\beta_k\sum^{m_k}_{i=0}\alpha^{(k)}_{i}G(x_{k-m_k+i})$

这里 $\beta_k$ 是一个松弛参数。安德森加速的伪代码如下(形式和前面叙述一致，这里为了自己理解)：

安德森方法的一些小注记：(1)、安德森加速方法中一定要满足加权系数的和为一。(2)、对于加权系数可以使用最小二乘法求解。

参考文献：

（1）Y. Saad, Iterative Methods for Sparse Linear Systems, 2nd ed., SIAM, Philadelphia, 2003

（2）Homer F. Walker and Peng Ni Anderson acceleration for fixed-point iterations SIAM J. Numer. Anal., 49(4), 1715–1735

（3）Alex Toth and C. T. Kelley Convergence analysis for Anderson acceleration SIAM J. Numer. Anal., 53(2), 805–819.

Remark:此为本人的一点笔记，不尽完善，欢迎讨论。

不动点迭代之安德森加速相关推荐

论文解读｜算子分裂算法中的安德森加速法
作者:陈宇文,赵田田,胡明杰,史铭伟编者按本文考虑用I型安德森加速算法 (type-I Anderson acceleration) 来求解一般的非光滑不动点问题.对于非扩张的不动点映射(non- ...
最优化方法 26：不动点迭代
前面讲了很多具体的算法,比如梯度.次梯度.近似点梯度.加速近似点梯度.PPA.DR方法.ADMM.ALM等,对这些方法的迭代过程有了一些了解.这一节则主要是针对算法的收敛性进行分析,试图从一个更加抽象 ...
数值分析——求方程解的不动点迭代法和斯特芬森法(Python实现)
一.不动点迭代法求方程的解 import sympy #迭代的方程为 f(x)=pow(x,3)-x-1 def psi(x):return pow(x+1,1/3)def dif(x0): #求导函 ...
不动点迭代开平方 Excel演示
不动点迭代的精髓在于可以从任意值收敛. 难点在于配这个方程.详细技巧请参阅数值分析内容. X 代表初始值
非线性方程(组)：一维非线性方程（一）二分法、不动点迭代、牛顿法 [MATLAB]...
1. 二分法(Bisection) 1) 原理 [介值定理] 对于连续的一元非线性函数,若其在两个点的取值异号,则在两点间必定存在零点. [迭代流程] 若左右两端取值不同,则取其中点,求其函数值,取中 ...
不动点迭代（Fixed Point Iteration）
题目:不动点迭代(Fixed Point Iteration) 本篇介绍不动点迭代(Fixed Point Iteration).之所以学习不动点迭代是由于近来看到了FPC算法,即Fixed Poin ...
不动点迭代以及其收敛性
不动点迭代以及其收敛性对于迭代的理解不动点迭代迭代的收敛性区间收敛局部收敛对于迭代的理解所谓迭代就是反复使用执行某一个过程,并且用本次执行该过程的结果作为下一次执行的起点,不断推进, ...
不动点迭代求解方程数值解
求解方程 2x−x3=0 解:可以采用不动点迭代的方式求出数值解. 其不动点是 x=3log2x ,故可以采用下式进行不动点迭代: xn+1=3log2xn 初始值为 x0=2 ,迭代终止条件是 |x ...
matlab不动点迭代代码
%不动点迭代function [xc,k] = fpi(g,x0,tol,N) x1=g(x0); k=1; while abs(x1-x0) > tolx0 =x1;x1=g(x0);if k ...

不动点迭代之安德森加速

不动点迭代之安德森加速相关推荐

最新文章

热门文章