前言

下面将介绍共轭梯度法，及其推导过程，迭代过程的公式为标红的1，2，3，4，并附有例题。

一、共轭梯度法简介

“共轭梯度法”是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。”

二、基本思想及参数推导

三、示例

凸优化笔记6（共轭梯度法）相关推荐

中科大-凸优化笔记（lec25）-等价变换
全部笔记的汇总贴(视频也有传送门):中科大-凸优化 ∇fT(x∗)(y−x)≥0\nabla f^T(x^*)(y-x)\ge0∇fT(x∗)(y−x)≥0线性规划的解在边界上一.等价变换例:食谱 ...
凸优化笔记(1) —— 基本概念
凸优化笔记 -- 基本概念之凸集 1. 数学优化基本概念 2.1 凸优化问题 2.2 线性函数与凸函数 2.3 凸集仿射集. 2.3.2 凸集 2.3.3锥三种集合的比较: 基本准备本科没学过 ...
【凸优化笔记二】凸函数基本性质和例子
[凸优化笔记二]凸函数基本性质和例子凸函数的四个定义定义一定义二定义三定义四一些栗子凸函数的四个定义定义一其中 dom fff 是函数 fff 的定义域(前域),为凸集--这个很重 ...
【凸优化笔记一】仿射集+凸集+锥
[凸优化笔记一]仿射集+凸集+锥引言直线&线段直线的定义线段的定义仿射集 Affine Sets 与C相关的子空间线性方程组的解集是仿射集零空间仿射包 Affine Hull ...
中科大-凸优化笔记（lec9）-广义不等式、分离与支撑超平面、对偶锥与广义不等式
全部笔记的汇总贴(这一节的视频缺失):中科大-凸优化内容是自己看书上的三节整理的,和前面几节一样,算是一些基础性的理论知识. 只能说这一块儿先就这样,后面的课程如果遇到需要进行补充学习的地方,再进行 ...
中科大-凸优化笔记（lec44）-一些上界下界及梯度下降
全部笔记的汇总贴(视频也有传送门):中科大-凸优化一.强凸性假设 f ( x ) f(x) f(x)二阶可微且有强凸性 ∃ m > 0 , ∀ x ∈ d o m f , ∇ 2 f ( x ...
凸优化笔记(2)-凸函数的四种定义
示性函数是凸函数凸集C⊂RnC \subset R^nC⊂Rn fc(x)={无定义(做扩展的时候,一定要扩展到正无穷和无定义)X∈C0X∉Cf_c(x)= \begin{cases} 无定义(做扩 ...
凸函数1（斯坦福凸优化笔记5）
1 基本性质和例子 1.1 凸函数函数f:Rn→Rf:R^n \rightarrow R是凸的,如果dom f\mathbf{dom }\ f是凸集,且对于任意x,y∈dom fx,y \in \m ...
凸优化笔记（非常零碎）
1. Lipschitz Funcion(李比西斯函数) 对于不光滑(nonsomooth)的凸函数的分析引入了Lipschitz functions: 定义: 2.Nonexpansiveness ...

凸优化笔记6（共轭梯度法）

前言

一、共轭梯度法简介

二、基本思想及参数推导

三、示例

凸优化笔记6（共轭梯度法）相关推荐

最新文章

热门文章