我们在高中或本科时期就了解到：当函数存在解析形式且容易进行求导（f(x)f(x)f(x)在最优点 x∗x^*x∗附近可微），那么 x* 是局部极小点的必要条件为： df(x∗)=0df(x^*)=0df(x∗)=0。
然而，并不是所有的函数都容易求导，或者求导之后进行计算。所以引出了一系列基于最小二乘的优化算法如：“最速下降法（很多情况下也称为梯度下降法）、牛顿法、高斯牛顿法、LM算法”。

下面简单记录一下基本的最速下降法步骤及实例。

最速下降法

简要介绍：

第一步，选取一个迭代的初始值，设置迭代终止的阈值，第一次迭代k=0k = 0k=0
第二步，计算函数f(x)f(x)f(x)在迭代k=0k = 0k=0处的一阶梯度▽f(xk)▽f(x^k)▽f(xk)，如果∣∣▽f(xk)∣∣<ε||▽f(x^k)|| < ε∣∣▽f(xk)∣∣<ε停止迭代，输出xkx^kxk，反之，进行下一步。
第三步，找到梯度的反方向pk=−▽f(xk)p^{k} = -▽f(x^k)pk=−▽f(xk)，作为下降最快的方向。
第四步，假设，在pkp^{k}pk方向前进了步长：tkt_ktk，使得下式成立：
f(xk+tkpk)=minf(xk+tpk)f(x^k+t_kp^{k}) = min f(x^k+tp^{k})f(xk+tkpk)=minf(xk+tpk)

即：找到一个最优的步长tkt_ktk，使得f(xk+tkpk)f(x^k+t_kp^{k})f(xk+tkpk)最小

接着：
改变xk+1x^{k+1}xk+1的值，xk+1=xk+tkpkx^{k+1} = x^{k}+t_kp^{k}xk+1=xk+tkpk。
同时，k=k+1k = k+1k=k+1。
转入第二步，进行判断进入下一次迭代或输出。

实例

上述内容主要参考了大佬的知乎回答：【最优化】一文搞懂最速下降法，这里仅进行记录，巩固自己的理解。

最速下降法解析（理解笔记）相关推荐

算法学习（门徒计划）4-3 专项面试题解析学习笔记
算法学习 (门徒计划)4-3 专项面试题解析学习笔记前言 LeetCode 1367. 二叉树中的列表解题思路示例代码 LeetCode 958. 二叉树的完全性检验解题思路示例代码 Le ...
Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)
Attention机制理解笔记声明 Attention分类(主要SA和CA) spitial attention channel attention SA + CA(spitial attentio ...
2015.07.20MapReducer源码解析（笔记）
MapReducer源码解析(笔记) 第一步,读取数据源,将每一行内容解析成一个个键值对,每个键值对供map函数定义一次,数据源由FileInputFormat:指定的,程序就能从地址读取记录,读取的 ...
深入浅出图神经网络|GNN原理解析☄学习笔记（四）表示学习
深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习文章目录深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习表示学习表示学习的意义离散表示与分布式表示端到端学习基于重构损 ...
Missing Tag Identification in COTS RFID Systems: Bridging the Gap between Theory and Practice 理解+笔记
Missing Tag Identification in COTS RFID Systems: Bridging the Gap between Theory and Practice 理解+笔记+ ...
《漫画傅里叶解析》笔记（6）
<漫画傅里叶解析>笔记(6) <漫画傅里叶解析>作者涉谷道雄第7章傅里叶解析一. 研究频率成分的步骤二. 傅里叶系数三. 音叉的频率谱四. 吉他的频率谱五. 人 ...
MIT四足机器人Cheetah 3控制方案理解笔记（2）——Convex Mpc身体姿态控制
在"MIT四足机器人Cheetah 3控制方案理解笔记(1)"中,主要简单的总结了下一般情况下腿足机器人的摆动腿控制方法以及Cheetah 3的基于集中质量模型的平衡控制器.此外, ...
Fast and Accurate Detection of Unknown Tags for RFID Systems – Hash Collisions are Desirable 理解+笔记
Fast and Accurate Detection of Unknown Tags for RFID Systems – Hash Collisions are Desirable 理解+笔记+翻 ...
现代前端技术解析读书笔记
思维导图链接:http://v3.processon.com/view/link/5f7ec592762131119546c899 取材自<现代前端技术解析> 本文只是个人读书笔记,更多详 ...
《C语言内核深度解析》——笔记及拓展（1）
文章是我前几天读了朱有鹏,张先凤老师的<嵌入式Linux与物联网软件开发:C语言内核深度解析>写的,拜读之后,虽没有醍醐灌顶,至少解开了我之前的一些疑惑. <嵌入式Linux与物联网 ...

最速下降法解析（理解笔记）

最速下降法

实例

最速下降法解析（理解笔记）相关推荐

最新文章

热门文章