9.4 最速下降方法

对f(x+v)在x处进行一阶Taylor展开：

$f(x+v)\approx \hat{f}(x+v)=f(x)+\bigtriangledown f(x)^Tv$

其中 $\bigtriangledown f(x)^Tv$ 是f在x处沿方向v的方向导数

令 $\begin{Vmatrix}\cdot \end{Vmatrix}$ 是 $R^n$ 上的任意番薯，顶一个规范化的最速下降方向：

$\bigtriangleup x_{nsd}=argmin\left \{ \bigtriangledown f(x)^Tv|\begin{Vmatrix} v\end{Vmatrix} =1\right \}$

一个规范化的最速下降方向 $\bigtriangleup x_{nsd}$ 是一个能使f的线性近似下降最多的具有单位范数的步径。

也可以将规范化的最速下降方向乘以一个特殊的比例因子，从而考虑下述非规范化的最速下降方向 $\Delta x_{sd}$ ：

$\Delta x_{sd}=\begin{Vmatrix} \bigtriangledown f(x)\end{Vmatrix}_*\bigtriangleup x_{nsd}$

其中 $\left \| \cdot \right \|_*$ 表示对偶范数。对于这种最速下降步径，有：

$\bigtriangledown f(x)^T\bigtriangle x_{sd}=\left \| \bigtriangledown f(x) \right \|_*\bigtriangle f(x)^T\bigtriangleup x_{nsd}=-\left \| \bigtriangledown f(x) \right \|_*^2$

不同范数下的最速下降方法

采用Euclid范数的最速下降方法

此时最速下降方向就负梯度方向，也就是梯度下降方法。

采用二次范数的最速下降方法

考虑二次范数

$\left \| z \right \|_P=(z^TPz)^{1/2}=\left \| P^{1/2} z \right \|_2$

其中 $P \in S_{++}^n$ 。此时规范化的最速下降方向：

$\bigtriangleup x_{nsd}=-(\bigtriangledown f(x)^TP^{-1}\bigtriangledown f(x))^{-1/2}P^{-1}\bigtriangledown f(x)$

对偶范数 $\left \| z \right \|_*=\left \| P^{-1/2}z \right \|_2$ 。因此在二次范数下的最速下降步径为：

$\Delta x_{sd}=-P^{-1}\bigtriangledown f(x)$

基于坐标变换的解释

对于最速下降方向 $\Delta x_{sd}$ ，还有另一种解释：即对原问题进行某种坐标变换后的梯度下降方向。

定义 $\bar{u}=P^{1/2}u$ ，于是 $\left \| u \right \|_P=\left \| \bar{u} \right \|_2$ ，采用这种坐标变换，原目标函数f的极小化问题可以等价为极小化下式给出的目标函数 $\bar{f}(\bar{u})=f(P^{-1/2}\bar{u})=f(u)$ 。此时采用梯度下降方法优化 $\bar{f}$ ，在点 $\bar{x}$ 处的直线搜索方向为： $\Delta \bar{x}=-\bigtriangledown \bar{f}(\bar{x})=-P^{-1/2}\bigtriangledown f(P^{-1/2}\bar{x})=-P^{-1/2}\bigtriangledown f(x)$

而对应于原变量x的直线搜索方向：

$\bigtriangleup x = P^{-1/2}(-P^{-1/2})\bigtriangledown f(x)=-P^{-1}\bigtriangledown f(x)$

也就是说在二次范数 $\left \| \cdot \right \|_P$ 下的最速下降方向，可以理解为对原问题进行最标编号 $\bar{x}=P^{1/2}x$ 后的梯度方向。

$l_1$ 范数下的最速下降方向

$l_1$ 范数下的最速下降方向： $\bigtriangleup x_{sd}=\bigtriangleup x_{nsd}\left \| \bigtriangledown f(x) \right \|_{\infty}=-\frac{\partial f(x)}{\partial x_i}e_i$ ，其中 $e_i$ 表示第i个标准基向量。可以理解为每次得到一个梯度，这个梯度中有不同的分量，每个分量有不同的大小，每次都选择值最大的那个分量的方向来更新。

最速下降方向的范数选择

如上图是两个同一个问题不同的范数下的得到的迭代过程，可以看出左图范数下，收敛速度快，这是因为当考虑坐标变换的时候，最速下降法变成了梯度下降方法，而在这种变换下，下水平集的条件数被减小了，而梯度下降方法的收敛速度与下水平集的条件数有关，条件数减少了收敛速度也就快了，而右图收敛速度慢，是因为在这种坐标变换下，下水平集的条件数增多了。

来源：https://blog.csdn.net/wangchy29/article/details/88121255

凸优化第九章无约束优化 9.4 最速下降方法相关推荐

【ML】第九章无监督学习技术
最优化作业第6章——无约束多维非线性规划方法
代码: #导入模块 from sympy import * import sympy as sp #将导入的模块重新定义一个名字以便后续的程序进行使用 from numpy import * impo ...
图解HTTP笔记之第九章：HTTP瓶颈以及解决方法之websocket
HTTP瓶颈以及解决方法之websocket HTTP的瓶颈就是:HTTP协议的性能受到限制,web页面加载时间过长,实时更新大量的数据无法妥善处理,但由于全球已经有很多的浏览器都是基于HTTP协议 ...
《实用机器学习》（孙亮黄倩.著）笔记——第七章无矩阵分解的基准方法
bui表示基准算法对于评价rui的预测,bu和bi分别是用户u和商品i各自对应的偏差,μ是所有评价的平均值在推荐问题中引入损失函数,通过最小化损失函数,得到参数的最佳估计值,这里采用平方和损失函数: ...
《凸优化》中科大-讲解 -系列笔记（汇总55/55）
本人学习所有系列:汇总帖这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
中科大凸优化P1P2 Chapter1 Introduction
推荐一个别人做的笔记: P1&P2. (相关知识:数学规划) 1.凸优化形式: $\min\limits_x\ f_o(x )\quad subject\ to \ f_i \le b_i $ ...
文献翻译__人工智能时代医学图像重建中的凸优化算法（第4、5、6章）
文章下载–我的Gitee Convex optimization algorithms in medical image reconstruction-in the age of AI 人工智能时代医 ...
（数据库系统概论|王珊）第九章关系查询处理和关系优化-第三节：查询优化之代数优化
注意: 关系代数有关符号,大家可能又不熟悉了,点击跳转:(数据库系统概论|王珊)第二章关系数据库-第四节:关系代数文章目录一:关系代数表达式等价变换规则 (1)连接.笛卡尔积.并.交的交换律 (2 ...
凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...

凸优化第九章无约束优化 9.4 最速下降方法