9.2 下降方法

下降方法将产生一个优化点列 $x^{(k)},k=1,\cdots,$ 其中 $x^{(k+1)}=x^{(k)}+t^{(k)}\bigtriangleup x^{(k)}$ ，且 $t^{(K)}>0,f(x^{(k+1)})<f(x^{(k)})$ 。 $\bigtriangleup x$ 是一个向量表示步径或搜索方向。标量 $t^{(k)}\geq 0$ 被称为第k次迭代的步长。

方法的思想：只有 $x^{(k)}$ 不是最优解，就找一个比 $x^{(k)}$ 更好的点。

由目标函数凸性可知（一阶特征） $\bigtriangledown f(x^{(k)})^T(y-x^{(k)})\geq 0$ ，可知 $y \geq x^{(k)}$ 时， $\bigtriangledown f(x^{(k)})^T\geq 0$ ，于是可知 $f(y)\geq f(x^{(k)})$ ，而在下降方法中显然 $y \geq x^{(k)}$ ，而且要求 $f(y)\leq f(x^{(k)})$ ，故下降方法中的搜索方向必须满足 $\bigtriangledown f(x^{(k)})^T(y-x^{(k)})=\bigtriangledown f(x^{(k)})^T\bigtriangleup x^{(k)}<0$ ，即它和负梯度放心的夹角必须是锐角。这样的方向为下降方向。

下降方法：确定下降方向 $\bigtriangleupx$ $\bigtriangleup x$ ，然后选择步长t，其一般框架如下：

给定初始点 $x \in dom(f)$

重复执行

确定下降方向 $\bigtriangleup x$
直线搜索：选择步长 $t>0$
修改： $x:=x+t\bigtriangleup x$

直到终止条件被满足

搜索方法类型

精确直线搜索

通过沿着射线 $\left \{ x+t\bigtrangleup x |t\geq 0\right \}$ 优化f而确定t值：

$t = argmin_{s \geq 0}f(x+t\bigtriangleup x)$

如果此问题的求解成本低于计算搜索方向的成本，则问比较适合用精确直线搜索。

回溯直线搜索

一种非精确直线搜索方法：沿着射线 $\left \{ x+t\bigtrangleup x |t\geq 0\right \}$ 近似优化f而确定t值，即只有f有“足够的”的减少即可

算法：

给定f在 $x \in dom(f)$ 处的下降方向 $\bigtriangleup x$ ，参数 $\alpha \in(0,0.5),\belta \in (0,1)$
t:=1
如果 $f(x +t \bigtrianglqup x)>f(x)+\alpha t \bigtriangledown f(x)^T\bigtriangleup x$ ，令 $t:=\beta t$

由于 $\bigtriangleup x$ 是下降方向， $\bigtriangledown f(x^{(k)})^T\bigtriangleup x^{(k)}<0$ ，所以只要t足够小，

$f(x+t\bigtriangleup x)\approx f(x)+t\bigtriangledown f(x)^T\bigtriangleup x\leq f(x)+\alpha t\bigtriangledown f(x)^T\bigtriangleup x$

来源：https://blog.csdn.net/wangchy29/article/details/87966604

凸优化第九章无约束优化 9.2 下降方法相关推荐

【ML】第九章无监督学习技术
最优化作业第6章——无约束多维非线性规划方法
代码: #导入模块 from sympy import * import sympy as sp #将导入的模块重新定义一个名字以便后续的程序进行使用 from numpy import * impo ...
图解HTTP笔记之第九章：HTTP瓶颈以及解决方法之websocket
HTTP瓶颈以及解决方法之websocket HTTP的瓶颈就是:HTTP协议的性能受到限制,web页面加载时间过长,实时更新大量的数据无法妥善处理,但由于全球已经有很多的浏览器都是基于HTTP协议 ...
《实用机器学习》（孙亮黄倩.著）笔记——第七章无矩阵分解的基准方法
bui表示基准算法对于评价rui的预测,bu和bi分别是用户u和商品i各自对应的偏差,μ是所有评价的平均值在推荐问题中引入损失函数,通过最小化损失函数,得到参数的最佳估计值,这里采用平方和损失函数: ...
《凸优化》中科大-讲解 -系列笔记（汇总55/55）
本人学习所有系列:汇总帖这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
中科大凸优化P1P2 Chapter1 Introduction
推荐一个别人做的笔记: P1&P2. (相关知识:数学规划) 1.凸优化形式: $\min\limits_x\ f_o(x )\quad subject\ to \ f_i \le b_i $ ...
文献翻译__人工智能时代医学图像重建中的凸优化算法（第4、5、6章）
文章下载–我的Gitee Convex optimization algorithms in medical image reconstruction-in the age of AI 人工智能时代医 ...
（数据库系统概论|王珊）第九章关系查询处理和关系优化-第三节：查询优化之代数优化
注意: 关系代数有关符号,大家可能又不熟悉了,点击跳转:(数据库系统概论|王珊)第二章关系数据库-第四节:关系代数文章目录一:关系代数表达式等价变换规则 (1)连接.笛卡尔积.并.交的交换律 (2 ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...

凸优化第九章无约束优化 9.2 下降方法

9.2 下降方法

搜索方法类型

精确直线搜索

回溯直线搜索

凸优化第九章无约束优化 9.2 下降方法相关推荐

最新文章

热门文章