前言

上篇写了线性共轭梯度法，本篇继续非线性共轭梯度法

非线性共轭梯度法

非线性共轭梯度法：

k=0k=0k=0，通过梯度下降法初始化x0,r0=∇f(x0),p0=−r0x_0,r_0=\nabla f(x_0),p_0=-r_0x0,r0=∇f(x0),p0=−r0
迭代到kkk轮，判断收敛条件，如果不满足则进入第3步
通过非精确线搜索计算αk\alpha_{k}αk
xk+1=xk+αkpkx_{k+1}=x_k+\alpha_{k}p_kxk+1=xk+αkpk
rk+1=∇f(xk+1)r_{k+1}=\nabla f(x_{k+1})rk+1=∇f(xk+1)
βk+1=rk+1Trk+1rkTrk\beta_{k+1}=\frac{r_{k+1}^Tr_{k+1}}{r_{k}^Tr_{k}}βk+1=rkTrkrk+1Trk+1
pk+1=−rk+1+βk+1pkp_{k+1}=-r_{k+1}+\beta_{k+1}p_kpk+1=−rk+1+βk+1pk
k=k+1k=k+1k=k+1

以上就是FR-CG法的流程。

为了确保全局收敛性，使用FR-CG法时，要结合Strong Wolfe Condition，并且收敛速度比较慢。

将β\betaβ的更新方式进行更换，可以获得收敛速度更快的PR-CG法：
β^k+1=rk+1T(rk+1−rk)∣∣rk∣∣2βk+1=max⁡{β^k+1,0}\hat \beta_{k+1}=\frac {r_{k+1}^T(r_{k+1}-r_{k})}{||r_k||^2} \\ \quad \beta_{k+1}=\max \{\hat\beta_{k+1},0 \} β^k+1=∣∣rk∣∣2rk+1T(rk+1−rk)βk+1=max{β^k+1,0}

数值计算之共轭梯度法（2）非线性共轭梯度法相关推荐

[数值计算-9]：一元非线性函数求导数（数值微分）- 解析法与迭代法Python法代码示例
作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing 本文网址:https://blog.csdn.net/HiWangWenBing/article ...
[数值计算-10]：一元非线性函数求最小值 - 导数与梯度下降法Python法代码示例
作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing 本文网址:https://blog.csdn.net/HiWangWenBing/article ...
matlab 截断共轭梯度法,最优化作业共轭梯度法 matlab代码
syms f x1 x2 f=(1/2)*x1^2+x2^2; x=[2;1]; a=[1 0;0 2];% A g1=diff(f,x1); g2=diff(f,x2); g=[g1;g2];%导数 ...
el-select 多选取值_数值优化|笔记整理（3）——线搜索中的步长选取方法，线性共轭梯度法...
上一节笔记传送门: 学弱猹:数值优化|笔记整理(2)--线搜索:步长选取条件的收敛性zhuanlan.zhihu.com ------------------------------------ 大 ...
回溯法采用的搜索策略_数值优化|笔记整理（3）——线搜索中的步长选取方法，线性共轭梯度法...
上一节笔记传送门: 学弱猹:数值优化|笔记整理(2)--线搜索:步长选取条件的收敛性zhuanlan.zhihu.com ------------------------------------ 大 ...
常用的优化算法：梯度下降法，牛顿法，拟牛顿法,共轭梯度法
目录 0.几个数学概念 1. 梯度下降法(Gradient Descent) 2. 牛顿法和拟牛顿法(Newton's method & Quasi-Newton Methods) 3. 共轭 ...
最优化方法-共轭梯度法
最优化方法-共轭梯度法 1.简介共轭梯度法最初由Hesteness和Stiefel于1952年为求解线性方程组而提出的.其基本思想是把共轭性与最速下降方法相结合,利用已知点处的梯度构造一组共轭方向, ...
共轭梯度法（Conjugate Gradients）（4）
最近在看ATOM,作者在线训练了一个分类器,用的方法是高斯牛顿法和共轭梯度法.看不懂,于是恶补了一波.学习这些东西并不难,只是难找到学习资料.简单地搜索了一下,许多文章都是一堆公式,这谁看得懂啊. 后 ...
共轭复数，共轭根式，共轭矩阵，共轭方向，共轭方向法，共轭梯度法，共轭分布，共轭函数，傅里叶变换的共轭对称
目录 1. 共轭复数 2. 傅里叶变换的共轭对称性 3. 共轭根式(radical conjugates) 4. 共轭矩阵(自共轭矩阵.Hermitian(埃尔米特)矩阵) 5. 共轭方向 6. 共轭 ...
基于共轭梯度法的对抗攻击
1 引言深度学习模型容易受到对抗样本的攻击,尽管基于最速下降的现有方法已经取得了很高的攻击成功率,但优化的病态问题偶尔会降低它们的攻击性能.为了解决这个问题,在该论文中作者借鉴对此类问题有效的共轭 ...

数值计算之共轭梯度法（2）非线性共轭梯度法

数值计算之共轭梯度法（2）非线性共轭梯度法

前言

非线性共轭梯度法

数值计算之共轭梯度法（2）非线性共轭梯度法相关推荐

最新文章

热门文章

数值计算之 共轭梯度法（2）非线性共轭梯度法

数值计算之 共轭梯度法（2）非线性共轭梯度法

前言

非线性共轭梯度法

数值计算之 共轭梯度法（2）非线性共轭梯度法相关推荐

最新文章

热门文章

数值计算之共轭梯度法（2）非线性共轭梯度法

数值计算之共轭梯度法（2）非线性共轭梯度法

数值计算之共轭梯度法（2）非线性共轭梯度法相关推荐