9.3 梯度下降方法

梯度下降方法
例子

梯度下降方法

用负梯度做搜索方向，即令 $\bigtriangleup x = -\bigtriangledown f(x)$ ，这种下降方法称为梯度下降方法：

给定初始点 $x \in dom(f)$

重复进行

$\bigtriangleup x = - \bigtriangledown f(x)$
直线搜索：通过精确或回溯直线搜索方法确定步长t
修改： $x:=x+t \bigtriangleup x$

直到满足停止条件

停止准则通常取为： $\begin{Vmatrix} \bigtriangedown f(x)\end{Vmatrix}_2 \leq \eta$ ，其中 $\eta$ 是小正数。一般情况下步骤１１完成后就检验停止条件而不是在修改后才检验。

例子

$R^2$ 空间的二次问题

考虑 $R^2$ 上的二次目标函数： $f(x)=\frac{1}{2}(x_1^2+\gamma x_2^2),\gamma >0$ ，显然最优点是 $x^*=0$ 。f的海瑟矩阵是常熟，其特征值是１和 $\gamma$ ，因此起所有下水平集的条件数为 $\frac{max\left \{ 1,\gamma \right \}}{min\left \{ 1,\gamma \right \}}=max\left \{ \gamma,1/\gamma \right \}$

采用精确线性搜索，初始点为 $x^{(0)}=(\gamma,1)$ ，迭代过程中每个点的表达式写成：

$x_1^{(k)}=\gamma(\frac{\gamma-1}{\gamma+1})^k,x_2^{(k)}=(-\frac{\gamma-1}{\gamma+1})^k$

下图是 $\gamma =10$ 时，精确线性搜索方法的迭代过程，其中虚线是等值线。

$R^2$ 空间的非二次型问题

$f(x_1,x_2)=e^{x_1+2x_2-0.1}+e^{x_1-3x_2-0.1}+e^{-x_1-0.1}$

上图分别是该问题的回溯搜索方法和精确搜索方法的迭代过程。可以看出精确搜索方法的收敛速度大约是回溯收敛方法的两倍。

$R^{100}$ 空间的一个问题

$f(x)=c^Tx-\sum_{i=1}^mlog(b_i-a_i^Tx)$

上图是分别采用回溯直线搜索和精确直线搜索的梯度优化方法所产生的误差和迭代次数之间的关系

梯度方法和条件数的结论

书上给出了一些结论

梯度方法通常呈现近似线性收敛性质
回溯参数 $\alpha ,\beta$ 的取值对收敛性有明显的影响，但不会产生戏剧性的效果。精确搜索方法有时可以改善梯度方法的收敛性，胆效果不是很大。
收敛速度强烈以来与海瑟矩阵或下水平集的条件数。及时问题的条件数不是太坏，收敛速度也可能很慢，如果条件数很大，梯度方法已经慢的失去实用价值。

来源：https://blog.csdn.net/wangchy29/article/details/87968905

凸优化第九章无约束优化 9.3 梯度下降方法相关推荐

凸优化（Quasi convex optimization）与梯度下降（Grad descent）
目录一.凸优化 1.1评价标准 1.2驻点 1.3凸优化条件 1.4凸优化形式二.梯度下降 2.1损失函数 2.2梯度一.凸优化 1.1评价标准当我们建立模型之后,我们希望有一种标准来评价模型 ...
零基础入门深度学习 | 第二章：线性单元和梯度下降
北京 | 高性能计算之GPU CUDA课程11月24-26日3天密集学习快速带你晋级阅读全文> 无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作 ...
【ML】第九章无监督学习技术
第九章、python中常用函数及方法------打开函数open，写入write、writelines，读取read、readlines、 readline
目录 9.7 python的打开函数open (1)参数file (2)参数mode (3)参数buffering (4)参数encoding (5)参数errors (6)参数newline (7) ...
深度学习（三十七）优化求解系列之(1)简单理解梯度下降
凸优化 [Convex Optimization] — [美] 鲍德（Stephen Boyd），Lieven Vandenberghe 著，王书宁，许鋆，黄晓霖译
<信息技术和电气工程学科国际知名教材中译本系列:凸优化>从理论.应用和算法三个方面系统地介绍凸优化内容. 凸优化在数学规划领域具有非常重要的地位.从应用角度看,现有算法和常规计算能力已足以 ...
凸优化_Stephen_Boyd_
AI 菌由于凸优化在机器学习中还是很重要链接:http://pan.baidu.com/s/1eS3vuLk 密码:3epx 理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介 ...
《凸优化》中科大-讲解 -系列笔记（汇总55/55）
本人学习所有系列:汇总帖这是一篇汇总贴 1-2:推荐书目,引言,常见例子,优化问题分类,发展史 3-4:仿射/凸/凸锥 + 集/组合/包 5-6:几种重要的凸集:超平面与半空间/球和椭球/多面体/单 ...
详解GCN、GAT、凸优化、贝叶斯、MCMC、LDA
如果你准备发AI方向的论文,或准备从事科研工作或已在企业中担任AI算法岗的工作.那么我真诚的向大家推荐,贪心学院<高阶机器学习研修班>,目前全网上应该找不到类似体系化的课程.课程精选了四大 ...
干货丨从基础知识到实际应用，一文了解「机器学习非凸优化技术」
文章来源:机器之心优化作为一种研究领域在科技中有很多应用.随着数字计算机的发展和算力的大幅增长,优化对生活的影响也越来越大.今天,小到航班表大到医疗.物理.人工智能的发展,都依赖优化技术的进步. 在 ...

凸优化第九章无约束优化 9.3 梯度下降方法