漫步最优化八——梯度信息

不见你会想你，\textbf{不见你会想你，}
想随时献殷勤，希望你像蜜桃般甜美；\textbf{想随时献殷勤，希望你像蜜桃般甜美；}
想阅读更多书，期待你我能赌书泼茶。\textbf{想书，期待你我能赌书泼茶。}
我想我们已互相知道对方的心意，\textbf{我想我们已互相知道对方的心意，}
即便相隔万里也能感受到远方心中的牵挂。\textbf{即便相隔万里也能感受到远方心中的牵挂。}
希望我们互相是对的人，\textbf{希望我们互相是对的人，}
一直彼此宠爱。\textbf{一直彼此宠爱。}
——畅宝宝的傻逼哥哥\qquad\qquad\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}

在许多优化方法中，需要目标函数的梯度信息，这个信息由f(x)f(\textbf{x})对nn个变量的一阶与二阶导组成的。

如果f(x)∈C1f(\textbf{x})\in C^1，即f(x)f(\textbf{x})有连续的一阶偏导，f(x)f(\textbf{x})的梯度定义为：

g(x)=[∂f∂x1 ∂f∂x2 ⋯ ∂f∂xn]T=∇f(x)

\begin{align*} \textbf{g(x)} &=[\frac{\partial f}{\partial x_1}\ \frac{\partial f}{\partial x_2}\ \cdots\ \frac{\partial f}{\partial x_n}]^T\\ &=\nabla f(\textbf{x}) \end{align*}

其中

∇=[∂∂x1 ∂∂x2 ⋯ ∂∂xn]T

\nabla=[\frac{\partial}{\partial x_1}\ \frac{\partial}{\partial x_2}\ \cdots\ \frac{\partial}{\partial x_n}]^T

如果f(x)∈C2f(\textbf{x})\in C^2，即f(x)f(\textbf{x})有连续的二阶偏导，f(x)f(\textbf{x})的海森矩阵定义为：

H(x)=∇gT=∇{∇Tf(x)}

\textbf{H(x)}=\nabla\textbf{g}^T=\nabla\{\nabla^Tf(\textbf{x})\}

因此海森矩阵可以写为：

H(x)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f∂x21∂2f∂x2∂x1⋮∂2f∂xn∂x1∂2f∂x1∂x2∂2f∂x22⋮∂2f∂xn∂x2⋯⋯⋯∂2f∂x1∂xn∂2f∂x2∂xn⋮∂2f∂x2n⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥

\textbf{H(x)}= \begin{bmatrix} \frac{\partial^2f}{\partial x_1^2}&\frac{\partial^2f}{\partial x_1\partial x_2}&\cdots&\frac{\partial^2f}{\partial x_1\partial x_n}\\ \frac{\partial^2f}{\partial x_2\partial x_1}&\frac{\partial^2f}{\partial x_2^2}&\cdots&\frac{\partial^2f}{\partial x_2\partial x_n}\\ \vdots&\vdots&&\vdots\\ \frac{\partial^2f}{\partial x_n\partial x_1}&\frac{\partial^2f}{\partial x_n\partial x_2}&\cdots&\frac{\partial^2f}{\partial x_n^2} \end{bmatrix}

对函数f(x)∈C2f(\textbf{x})\in C^2

∂2f∂xi∂xj=∂2f∂xj∂xi

\frac{\partial^2f}{\partial x_i\partial x_j}=\frac{\partial^2f}{\partial x_j\partial x_i}

这是因为求导是线性运算，由此可得H(x)\textbf{H(x)}是n×nn\times n 对称方阵。

点x=xk\textbf{x}=\textbf{x}_k处的梯度与海森矩阵用g(xk),H(xk)\textbf{g}(\textbf{x}_k),\textbf{H}(\textbf{x}_k)表示，或者用简化的符号gk,Hk\textbf{g}_k,\textbf{H}_k表示。有时候在不至于混淆的前提下，g(x),H(x)\textbf{g}(\textbf{x}),\textbf{H}(\textbf{x})简化成g,H\textbf{g,H}。

梯度与海森矩阵简化了优化过程，但是在某些应用中求解他们非常耗时且代价比较大，或者f(x)f(\textbf{x})无法求偏导，对于这种应用，最好用不需要求梯度的方法。

梯度方法，即基于梯度信息的方法可能只需要g(x)\textbf{g}(\textbf{x})或者g(x),H(\textbf{x})\textbf{g}(\textbf{x}),\textbf{H(\textbf{x})}都需要，对于后者，可能需要求解矩阵H(x)\textbf{H}(\textbf{x}) 的逆，这会带来数值精确性问题且很耗时，一般我们会避免这种方法。

漫步最优化八——梯度信息相关推荐

深度学习与计算机视觉（三）最优化与梯度下降
三.最优化与梯度下降上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器中提到两个对图像识别至关重要的概念: 用于把原始像素信息映射到不同类别得分的得分函数/score funct ...
漫步最优化三十七——共轭梯度法
我卸不下对你的喜欢,\textbf{我卸不下对你的喜欢,} 因为爱会慢慢增加重量.\textbf{因为爱会慢慢增加重量.} 我醉心于你的发香,\textbf{我醉心于你的发香,} 因为它让回想有了画面 ...
漫步最优化三十一——梯度法
我拿起笔芯,\textbf{我拿起笔芯,} 开始在心里慢慢书写回忆.\textbf{开始在心里慢慢书写回忆.} 记录第一次遇见的你,\textbf{记录第一次遇见的你,} 记录第一次牵手的你,\tex ...
Kali Linux 从入门到精通(八)-主动信息收集
Kali Linux 从入门到精通(八)-主动信息收集基本介绍直接与目标系统交互通信无法避免留下访问的痕迹使用受控的第三方电脑进行探测使用代理或已经被控制的主机做好被封杀的准本使用噪声迷 ...
【自适应引导滤波和梯度信息：PAN+MS：传统方法HIS】
The PAN and MS image fusion algorithm based on adaptive guided filtering and gradient information re ...
八年级计算机考操作试题,八年级信息技术操作试题
八年级信息技术操作试题八年级信息技术操作试题说明:考试共两大题,共100分,考试时间为40分钟. 一.FrontPage操作题(满分50分) ●启动FrontPage,打开桌面上"考试\ ...
八年级计算机课学期末心得体会,八年级信息技术课工作总结范文
八年级信息技术课工作总结范文一段时间的工作在不知不觉间已经告一段落了,这段时间里,相信大家面临着许多挑战,也收获了许多成长,该好好写一份工作总结,分析一下过去这段时间的工作了.想必许多人都在为如何写 ...
图像超分辨率SPSR：利用梯度信息来保持图像结构
利用图像梯度信息使复原图像具有更稳定的结构本文是对Structure-Preserving Super Resolution with Gradient Guidance一文进行介绍概述在传统的 ...
漫步最优化三十八——非二次函数最小化
你独一无二的声音,\textbf{你独一无二的声音,} 穿越了繁杂喧嚣,\textbf{穿越了繁杂喧嚣,} 回荡在我的脑中.\textbf{回荡在我的脑中.} 你独一无二的声音,\textbf{你独一 ...

漫步最优化八——梯度信息

漫步最优化八——梯度信息相关推荐

最新文章

热门文章