line search中的重要定理 - 梯度与方向的点积为零

转载请注明出处：http://www.codelast.com/

对精确的line search（线搜索），有一个重要的定理：

∇f(xk+αkdk)Tdk=0

这个定理表明，当前点在 dk 方向上移动到的那一点（ xk+αkdk ）处的梯度，与当前点的搜索方向 dk 的点积为零。

其中， αk 是称之为“步长”的一个实数，它是通过line search算法求出来的。

为什么会有这样的结论？我们来看看。
对每一个line search过程来说，搜索方向dk已经已经是确定的了（在最优化算法中，如何找出一个合适的dk不是line search干的事情）。所以，在一个确定的dk上，要找到一个合适的αk，使得ϕ(α)=f(xk+αdk)这个函数满足f(xk+αkdk)<f(xk)，这就是line search的目的。说白了，就是要找到αk使ϕ(α)的函数函数值变小。
文章来源：http://www.codelast.com/
但是，要小到什么程度呢？假设小到有可能的“最小”，即：
ϕ(αk)=f(xk+αkdk)=minα>0f(xk+αdk)=minα>0ϕ(α)
那么，我们称这样的line search为“精确的line search”——你看，这名字好贴切：我们精确地找到了函数值最小的那个点。

既然xk+αkdk是函数值最小的那个点，那么，在该点处的一阶导数（即梯度）为零，所以我们对上式求导（α是自变量，xk和dk为常量）：
ϕ′(αk)=[f(xk+αkdk)]′⋅(0+1⋅dk)=[f(xk+αkdk)]′dk=∇f(xk+αkdk)Tdk=0
文章来源：http://www.codelast.com/
这就是我们前面说的定理了。

line search中的重要定理 - 梯度与方向的点积为零相关推荐

【python】三种梯度下降学习率策略的比较(exact line search, backtracking, diminishing steps)
简要介绍: 1. exact line search 即在梯度下降的每次迭代中选择使梯度下降最大的学习率.我们可以使用黄金分割法来求解. 关于黄金分割法求根的实现golden_section()见专栏 ...
线搜索(line search)方法
转自http://www.cnblogs.com/kemaswill/p/3416231.html 在机器学习中, 通常需要求某个函数的最值(比如最大似然中需要求的似然的最大值). 线搜索(line ...
The Armijo Goldstein line search scheme
最近在slep包的基础上改写lasso算法,其优化问题代码块中,提到了The Armijo Goldstein line search scheme.就我目前所查到的资料,做一个分享. line se ...
优化算法中的鞍点与梯度下降
摘要:本文将讨论寻找凸路径( convex path )时可能会遇到的不同类型的临界点( critical points),特别是基于梯度下降的简单启发式学习方法,在很多情形下会使你在多项式时间内陷入 ...
讲清楚什么是线搜索line search
翻译自[1] 翻译如下: 优化理论中包含两种策略: 1.line search 2.trust region 牛顿法(求函数的解集)和二阶牛顿法(求函数最小值)都是用来寻找线搜索中的梯度方向的,换言之 ...
【Paper】论文中定义、定理、引理、证明分别的含义
论文中定义.定理.引理.证明分别的含义 1. 定义 Definition 2. 定理 Theorem 3. 证明 Proof 4. 引理 Lemma 5. 谈论/评论 Remark 6. 注解/说明 ...
nfa确定化 dfa最小化_深度学习中的优化：梯度下降，确定全局最优值或与之接近的局部最优值...
深度学习中的优化是一项极度复杂的任务,本文是一份基础指南,旨在从数学的角度深入解读优化器. 一般而言,神经网络的整体性能取决于几个因素.通常最受关注的是网络架构,但这只是众多重要元素之一.还有一个常常 ...
深度学习中多层全连接网络的梯度下降法及其变式
深度学习中多层全连接网络的梯度下降法及其变式 1 梯度下降法 2 梯度下降的变式 1.SGD 2.Momentum 3.Adagrad 4.RMSprop 5.Adam 6.小结 1 梯度下降法梯度 ...
为什么剩余数不能相加_行测备考：如何快解数量关系中的剩余定理
目前,很多考生已经在准备公务员考试了,行测试卷必然会考察关于数量关系的题目,而在数量关系的题目当中有一类题目出现的也比较多,虽然简单但是不能掌握做题的技巧的话也是比较浪费时间,这种题目就是剩余定理.什 ...

line search中的重要定理 - 梯度与方向的点积为零

line search中的重要定理 - 梯度与方向的点积为零相关推荐

最新文章

热门文章