运筹学（最优化理论）学习笔记

最近博主复习了一下无约束问题最优化算法中的共轭梯度法。无约束问题最优化方法包括最速下降法、牛顿法、共轭梯度法、拟牛顿法等等。借用书中的一句话：

无约束优化问题的求解通过一系列一维搜索来实现。因此怎样选择搜索方向是解无约束问题的核心，搜索方向的不同选择，形成不同的最优化方法

既然我们说到搜索方向的不同选择会形成不同的最优化算法，那么今天复习的共轭梯度法是基于共轭方向的一种算法。那么问题来了，什么是共轭方向?

其实说白了两个方向共轭和两个方向正交从某种角度来说意思差不多，只不过正交在观感上更容易被大家理解，而共轭也是两个方向之间一种特殊的关系，只不过是通过正定矩阵将这两个方向联系起来。

在介绍完共轭方向之后，接下来介绍共轭梯度法（简称FR法），书中说道：

共轭梯度法的基本思想是把共轭性与最速下降方法相结合，利用已知点的梯度构造一组共轭方向，并沿这组方向进行搜索，求出目标函数的极小点

接下来不太想给出完整的证明，如果各位小伙伴想看完整的证明可以看

运筹学（最优化理论）学习笔记 | 共轭梯度法相关推荐

Python最优化算法学习笔记（Gurobi）
微信公众号:数学建模与人工智能 github地址:https://github.com/QInzhengk/Math-Model-and-Machine-Learning Python最优化算法学习笔 ...
深度学习——最优化的学习笔记
1 前言感谢蔡超老师的讲授,给予了我很大的启发- 2 数值分析方法求解最优化--"数学上最优美的求解方法" 2.1 最初认识数值分析求解最优化的分类器--SVM SVM是我最初学 ...
最优化算法学习笔记+个人总结（一）
最优化算法个人总结(一) 一.数学理论 1.解析解/数值解 2.凸函数 3.连续条件 4.距离度量 5.梯度 6.线性搜索 7.步长二.梯度下降 1.BGD批量梯度下降 2.SGD随机梯度下降 3. ...
运筹学最优化理论系列概念-单纯形法原理解析
线性规划的单纯形法的几何解释是什么? 很显然,用单纯形法求解线性规划问题,我们首先需要明白线性规划问题的可行域的边界实际上都是直线或者是平面,因此借用这位大神说的一句话"单纯形就是很多超平 ...
HHT变换基本理论-学习笔记
HHT变换基本理论希尔伯特黄变换(HHT变换)是1998年由NordenEHuang等人提出的一种信号分析方法.是一种能够有效分析线性/非线性,平稳/非平稳信号的时频分析方法.核心是经验模态分解(简 ...
传输线理论--学习笔记
1.1传输线方程及其通解下图为双导线的集总电路模型: 在一个微分段内(),双导线可以等效集总电路模型. 的模型怎么来的?=>双导线的射频效应: 导体损耗(趋肤效应)--单位长度串联电阻R0 介 ...
陈宝林《最优化理论与算法》超详细学习笔记（八）————最优性条件
陈宝林<最优化理论与算法>超详细学习笔记 (八)----最优性条件无约束问题的极值条件必要条件二阶充分条件充要条件约束极值问题的最优性条件不等式约束的一阶最优性条件无约束问题 ...
陈宝林《最优化理论与算法》超详细学习笔记（七）————第五章运输问题
陈宝林<最优化理论与算法>超详细学习笔记 (七)----第五章运输问题第1节运输问题的数学模型第2节表上作业法 2.1 确定初始基可行解 2.2 最优解的判别 2.3 改进的方法 ...
陈宝林《最优化理论与算法》超详细学习笔记（四）————第四章对偶理论
陈宝林<最优化理论与算法>超详细学习笔记 (四)----第四章对偶理论 1. 对偶问题的提出 2. 线性规划的对偶理论 2.1 原问题与对偶问题的关系 2.2 对偶问题的基本性质 3. ...

运筹学（最优化理论）学习笔记 | 共轭梯度法

运筹学（最优化理论）学习笔记 | 共轭梯度法相关推荐

最新文章

热门文章