漫步最优化十二——局部极小与极大的充分必要条件(下)

我心里有个小小的愿望，\textbf{我心里有个小小的愿望，}
就是在接下来漫长的路途中，\textbf{就是在接下来漫长的路途中，}
把我们爱的点点滴滴装进行囊。\textbf{把我们爱的点点滴滴装进行囊。}
虽然我没有宽广的肩膀，\textbf{虽然我没有宽广的肩膀，}
但我愿意你在我的怀里温柔撒娇；\textbf{但我愿意你在我的怀里温柔撒娇；}
虽然我们会慢慢的变老，\textbf{虽然我们会慢慢的变老，}
但我庆幸和你一起一直相互依靠。\textbf{但我庆幸和你一起一直相互依靠。}
——畅宝宝的傻逼哥哥\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}

定理2：\textbf{定理2：}极小值的二阶必要条件\textbf{极小值的二阶必要条件}

如果f(x)∈C2,x∗f(\textbf{x})\in C^2,\textbf{x}^*是局部极小值，那么对任意可行方向d\textbf{d}
- g(x∗)Td≥0\textbf{g}(\textbf{x}^*)^T\textbf{d}\geq0
- 如果g(x∗)Td=0\textbf{g}(\textbf{x}^*)^T\textbf{d}=0，那么dTH(x∗)d≥0\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\geq 0
如果x∗\textbf{x}^*是局部极小值，且是RR的内点，那么
- g(x∗)=0\textbf{g}(\textbf{x}^*)=\textbf{0}
- 对所有d≠0,dTH(x∗)d≥0\textbf{d}\neq\textbf{0},\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\geq0

证明：\textbf{证明：}(a)(b)(a)(b)中的条件(i)(i)由前面的定理可得出来。对于(a)(a)中的条件(ii)(ii)令x=x∗+αd\textbf{x}=\textbf{x}^*+\alpha\textbf{d}，其中d\textbf{d}是可行方向，由泰勒级数可得

f(x)=f(x∗)+αg(x∗)Td+12α2dTH(x∗)d+o(α2∥d∥2)

f(\textbf{x})=f(\textbf{x}^*)+\alpha\textbf{g}(\textbf{x}^*)^T\textbf{d}+\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)

注意如果条件(i)(i)取等号，那么

f(x)=f(x∗)+12α2dTH(x∗)d+o(α2∥d∥2)

f(\textbf{x})=f(\textbf{x}^*)+\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)

如果

dTH(x∗)d<0

\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}

，那么当α→0\alpha\to 0时

12α2dTH(x∗)d+o(α2∥d∥2)<0

\frac{1}{2}\alpha^2\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\alpha^2\Vert\textbf{d}\Vert^2)

则

f(x)<f(x∗)

f(\textbf{x})

这与x∗\textbf{x}^*是极小值点相矛盾，因此如果g(x∗)Td=0\textbf{g}(\textbf{x}^*)^T\textbf{d}=0，那么

dTH(x∗)d≥0

\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\geq 0

如果x∗\textbf{x}^*是局部极小值点，且是RR的内点，那么所有向量d\textbf{d}是可行方向，因此(b)(b)部分得条件(ii)(ii)成立，这个条件等价于说H(x∗)\textbf{H}(\textbf{x}^*)是半正定的。

通过类比可以得出局部极大值的定理。

定理3：\textbf{定理3：}极大值的二阶必要条件\textbf{极大值的二阶必要条件}

如果f(x)∈C2,x∗f(\textbf{x})\in C^2,\textbf{x}^*是局部极大值，那么对任意可行方向d\textbf{d}
- g(x∗)Td≤0\textbf{g}(\textbf{x}^*)^T\textbf{d}\leq0
- 如果g(x∗)Td=0\textbf{g}(\textbf{x}^*)^T\textbf{d}=0，那么dTH(x∗)d≤0\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\leq 0
如果x∗\textbf{x}^*是局部极大值，且是RR的内点，那么
- g(x∗)=0\textbf{g}(\textbf{x}^*)=\textbf{0}
- 对所有d≠0,dTH(x∗)d≤0\textbf{d}\neq\textbf{0},\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}\leq0

(b)(b)部分的条件(ii)(ii)等价于H(x∗)\textbf{H}(\textbf{x}^*)是半负定矩阵。

这些条件是局部极值的必要条件但不是充分条件，也就是说有满足这些条件的点，但它们不是极值点。接下来我们考虑一下充分条件，这里暂时考虑x∗\textbf{x}^*位于可行域内部的情况，对于边界的情况比较困难，以后在讲解。

定理4：\textbf{定理4：}极小值点的二阶充分条件\textbf{极小值点的二阶充分条件}如果f(x)∈C2,x∗f(\textbf{x})\in C^2,\textbf{x}^*是RR的内点，那么

g(x∗)=0\textbf{g}(\textbf{x}^*)=\textbf{0}
- H(x∗)\textbf{H}(\textbf{x}^*)是正定矩阵
- 就是x∗\textbf{x}^*为局部极小值的充分条件。
  
  证明：\textbf{证明：}对于任意方向d\textbf{d}，泰勒级数得到
  
  f(x∗+d)=f(x∗)+g(x∗)Td+12dTH(x∗)d+o(∥d∥2)
  
  f(\textbf{x}^*+\textbf{d})=f(\textbf{x}^*)+\textbf{g}(\textbf{x}^*)^T\textbf{d}+\frac{1}{2}\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\Vert\textbf{d}\Vert^2)
  
  如果条件(a)(a)满足，我们有
  
  f(x∗+d)=f(x∗)+12dTH(x∗)d+o(∥d∥2)
  
  f(\textbf{x}^*+\textbf{d})=f(\textbf{x}^*)+\frac{1}{2}\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\Vert\textbf{d}\Vert^2)
  
  如果条件(b)(b)满足，那么
  
  12dTH(x∗)d+o(∥d∥2)>0as ∥d∥→0
  
  \frac{1}{2}\textbf{d}^T\textbf{H}(\textbf{x}^*)\textbf{d}+o(\Vert\textbf{d}\Vert^2)>0\quad as\ \Vert\textbf{d}\Vert\to 0
  
  因此
  
  f(x∗+d)>f(x∗)
  
  f(\textbf{x}^*+\textbf{d})>f(\textbf{x}^*)
  
  即x∗\textbf{x}^*是强局部极小值。
  
  通过类比可得到极大值的充分条件。
  
  定理5：\textbf{定理5：}极大值点的二阶充分条件\textbf{极大值点的二阶充分条件}如果f(x)∈C2,x∗f(\textbf{x})\in C^2,\textbf{x}^*是RR的内点，那么
  1. g(x∗)=0\textbf{g}(\textbf{x}^*)=\textbf{0}
  2. H(x∗)\textbf{H}(\textbf{x}^*)是负定矩阵
  3. 就是x∗\textbf{x}^*为局部极大值的充分条件。

漫步最优化十二——局部极小与极大的充分必要条件(下)相关推荐

漫步最优化十一——局部极小与极大的充分必要条件(上)
即便没有那么多浪漫的话,\textbf{即便没有那么多浪漫的话,} 我也想与你走过每个冬夏.\textbf{我也想与你走过每个冬夏.} 你的出现是我唯一的心动,\textbf{你的出现是我唯一的心动, ...
漫步最优化十五——凸函数优化
你在穿山越岭的另一边,\textbf{你在穿山越岭的另一边,} 而我也在没有尽头的孤独路上前行.\textbf{而我也在没有尽头的孤独路上前行.} 试着体会错误,试着忍住眼泪,\textbf{试着体会 ...
漫步最优化十——极值类型
深夜里,你不断徘徊在我的心田,\textbf{深夜里,你不断徘徊在我的心田,} 你的每一句誓言都在耳边回荡,\textbf{你的每一句誓言都在耳边回荡,} 你闪动的双眼隐藏着你的羞涩.\textbf{ ...
漫步线性代数十二——网络
上篇文章举的例子是3×43\times 4矩阵,从理论角度来说它解决了我们要求的问题:计算四个子空间以及他们的维数r,n−r,r,m−rr,n-r,r,m-r都是非零的.但是这个例子并是不是由实际应用 ...
漫步最优化十九——封闭算法
想你的夜晚,\textbf{想你的夜晚,} 我在屋顶做着一个梦.\textbf{我在屋顶做着一个梦.} 我和你拥抱在明亮的月光下,\textbf{我和你拥抱在明亮的月光下,} 动人的旋律环绕在我俩身边 ...
漫步最优化十八——点到集合的映射
疲倦的时候,有个人会陪你:\textbf{疲倦的时候,有个人会陪你:} 孤单的时候,有个人会想你.\textbf{孤单的时候,有个人会想你.} 我的小宝贝啊,\textbf{我的小宝贝啊,} 好想捏捏 ...
漫步最优化十六——优化的一般问题
一直没有说我爱你,\textbf{一直没有说我爱你,} 一直没有拥抱你,\textbf{一直没有拥抱你,} 道路上虽然会留下伤口,\textbf{道路上虽然会留下伤口,} 可是随着时间总会愈合.\te ...
漫步数理统计十二——随机变量的期望
本篇讲解期望运算,之后内容都会涉及到这种运算. 定义1:\textbf{定义1:}(期望)令XX表示一个随机变量,如果XX 是连续的随机变量,pdf为f(x)f(x)且 ∫∞−∞|x|f(x)dx&l ...
漫步数学分析十二——嵌套
定理1有一个非常重要的推论,就是嵌套性. 定理2\textbf{定理2} 令FkF_k是RnR^n中非空紧集序列,对于所有k=1,2,-k=1,2,\ldots满足Fk+1⊂FkF_{k+1}\sub ...

漫步最优化十二——局部极小与极大的充分必要条件(下)

漫步最优化十二——局部极小与极大的充分必要条件(下)相关推荐

最新文章

热门文章