收敛速度：线性收敛，超线性收敛，r 阶收敛

最优化理论中，评价一个算法的收敛速度有两个衡量尺度，Q-收敛与 R-收敛，我们一般用到的是 Q-收敛，它包括：线性收敛，超线性收敛，r 阶收敛。

一、 Q-收敛

设相邻两个迭代点：x_(k+1), x_{k}，最优值点 x*，若存在实数 q>0，满足：

\begin{equation}\lim\limits_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{*}\|}{\|x_{k}-x^{*}\|}=q\end{equation}

1. 若 0<q<1，则表示算法线性收敛

2. 若 q=1，则表示算法次线性收敛

3. 若 q=0，则表示算法超线性收敛, 并且在超线性收敛时：由于

\begin{align}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{\ast}+x^{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}&\leq \lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{\ast}\|+\|x_{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\\
&=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{\ast} \|}{\|x_{k}-x^{\ast}\|}+1\leq 1\end{align}
并且

\begin{align}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{\ast}+x^{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\geq& \lim_{k\rightarrow\infty}\left|\frac{\|x_{k+1}-x_{\ast}\|-\|x_{\ast}-x^{k}\|}{\|x_{k}-x_{\ast}\|}\right|\\\geq &\left|0-1\right|=1\end{align}
注：利用到了二范数的性质

\begin{equation}\|a\pm b\|\geq\Big|\|a\|-\|b\|\Big|\end{equation}
因此：
\begin{equation}\lim_{k\rightarrow\infty}\frac{\|x_{k+1}-x_{k}\|}{\|x^{k}-x_{\ast}\|}=1\end{equation}

4. 若

\begin{equation}\lim\limits_{k\rightarrow\infty}\frac{\|x_{k+1}-x^{*}\|}{\|x_{k}-x^{*}\|^{r}}=q\end{equation}

并且 r>=1, 0<=q< ∞，则称算法 r 阶收敛。

若 r>1, r 阶收敛必为超线性收敛。（证明略去）

二、R-收敛

R-收敛借助一个收敛于零的数列来度量趋于零的速度，设点列收敛到最优值点 . 若存在 , ，使

则称 R-线性收敛到 . 若：

则称 R-超线性收敛到 .

参考资料：王宜举，修乃华《非线性最优化理论与方法》，科学出版社

收敛速度：线性收敛，超线性收敛，r 阶收敛相关推荐

迭代法的收敛条件及收敛阶
迭代法的收敛条件有三个定理,其中定理1.定理2讲的都是全局性收敛,定理3讲的是局部性收敛. 定理1:方程,,且满足以下两条件: (1)当,: (2)存在常数,对任意的,有: 则(1)在上有唯一解: ( ...
数学狂想曲（八）——核弹当量问题, Lanchester战争模型, 随机过程
核弹当量问题核弹爆炸由于是个复杂的过程,因此就有了爆炸火球半径.辐射半径.冲击波半径以及热辐射半径等不同的威力评价标准. 具体的介绍可参见: https://www.zhihu.com/questi ...
Aitken加速收敛法和牛顿法
Aitken法基本思路: 当与相差不大时,,因此有比例式: 有: 结合不动点迭代法,算法描述如下(Steffensen迭代法): 定理5:设,在包含的某开区间内具有二阶连续导数,并且,则Steffen ...
数值分析(12)：Rung-Kutta法及单步法的收敛性和稳定性分析
Rung-Kutta法及单步法的收敛性和稳定性分析 1. 引言 2. Runge-Kutta法 2.1 一阶RK方法 2.2 二阶RK方法 2.3 三阶RK方法 2.4 四阶RK方法 3. 单步法收敛 ...
级数收敛、cesaro可和以及Abel可和的关系
文章目录 Cesaro和 cesaro可和 Abel和几种和的关系结论引理推论1 推论2 第一部分第二部分这两个概念有什么用 Cesaro和已有一个数列{cn},cn∈C\{c_n\}, ...
极限理论总结01：随机变量的四种收敛、CMT及Slutsky定理
文章目录 01.极限理论的意义 02.随机变量的收敛性一些定义与记号依概率收敛几乎处处收敛 r阶矩收敛依分布收敛几种收敛间的关系 OOO 和ooo 连续映射定理 Slutsky定理 01.极 ...
MATLAB求分数阶微分的数值解，G-L定义，R-L定义，Caputo定义
分数阶微积分学是整数阶微积分学的直接拓展,将一阶导数.二阶导数.一重积分.二重积分等整数阶微积分拓展到0.75阶导数.阶导数等实数甚至是复数阶的导数或积分.这无疑拓展了微积分学的深度. 对于整数阶微积 ...
通过R语言实现平稳时间序列的建模--基础（ARMA模型）
目录 1. 建模流程 2. 序列平稳性检验和纯随机性检验 2.1 图检验 2.2 单位根检验 3. 模型选择 4. 参数估计 5. 模型检验 5.1 模型显著性检验 5.2 参数显著性检验 6. ...
Policy Evaluation收敛性、炼丹与数学家
完美的学习算法昨天和同学在群里讨论DRL里bad case的问题.突然有同学提出观点:"bad case其实并不存在,因为一些算法已经理论证明了具有唯一极值点,再加上一些平滑技巧指导优化器 ...

收敛速度：线性收敛，超线性收敛，r 阶收敛

收敛速度：线性收敛，超线性收敛，r 阶收敛相关推荐

最新文章

热门文章