漫步最优化十五——凸函数优化

你在穿山越岭的另一边，\textbf{你在穿山越岭的另一边，}
而我也在没有尽头的孤独路上前行。\textbf{而我也在没有尽头的孤独路上前行。}
试着体会错误，试着忍住眼泪，\textbf{试着体会错误，试着忍住眼泪，}
可是该有的情绪根本逃不开。\textbf{可是该有的情绪根本逃不开。}
我知道逃避是没有用的，\textbf{我知道逃避是没有用的，}
但是我还会记得你的关心与爱。\textbf{但是我还会记得你的关心与爱。}
——畅宝宝的傻逼哥哥\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}

定理1：\textbf{定理1：}如果f(x)f(\textbf{x})是定义在凸集RcR_c上的凸函数，那么

f(x)f(\textbf{x})取最小值构成的点集合ScS_c是凸集；
任何f(x)f(\textbf{x})的局部极小都是全局极小。

证明：\textbf{证明：}(a)如果F∗F^*是f(x)f(\textbf{x})的极小值，那么Sc={x:f(x)≤F∗,x∈Rc}S_c=\{\textbf{x}:f(\textbf{x})\leq F^*,\textbf{x}\in R_c\}是凸集。

(b)如果x∗∈Rc\textbf{x}^*\in R_c是局部极小值，但存在全局极小点x∗∗∈Rc\textbf{x}^{**}\in R_c使得

f(x∗∗)<f(x∗)

f(\textbf{x}^{**})

那么在直线x=αx∗∗+(1−α)x∗\textbf{x}=\alpha\textbf{x}^{**}+(1-\alpha)\textbf{x}^*

f[αx∗∗+(1−α)x∗]≤αf(x∗∗)+(1−α)f(x∗)<αf(x∗)+(1−α)f(x∗)

\begin{align*} f[\alpha\textbf{x}^{**}+(1-\alpha)\textbf{x}^*] &\leq\alpha f(\textbf{x}^{**})+(1-\alpha)f(\textbf{x}^*)\\ &

或者

f(x)<f(x∗)for all α

f(\textbf{x})

这与x∗\textbf{x}^*是局部极小值相矛盾，因此在凸集上的任何局部极小值是全局极小值。

定理2：\textbf{定理2：}如果f(x)∈C1f(\textbf{x})\in C^1是凸集RcR_c上的凸函数，且存在点x∗\textbf{x}^*使得对所有x1∈Rc\textbf{x}_1\in R_c

g(x∗)Td≥0whered=x1−x∗

\textbf{g}(\textbf{x}^*)^T\textbf{d}\geq 0\quad where\textbf{d}=\textbf{x}_1-\textbf{x}^*

，那么x∗\textbf{x}^*是f(x)f(\textbf{x})的全局极小值。

证明：\textbf{证明：}根据上篇文章的定理可知

f(x1)≥f(x∗)+g(x∗)T(x1−x∗)

f(\textbf{x}_1)\geq f(\textbf{x}^*)+\textbf{g}(\textbf{x}^*)^T(\textbf{x}_1-\textbf{x}^*)

其中g(x∗)\textbf{g}(\textbf{x}^*)是f(x)f(\textbf{x})在点x=x∗\textbf{x}=\textbf{x}^*处的梯度。因为

g(x∗)T(x1−x∗)≥0

\textbf{g}(\textbf{x}^*)^T(\textbf{x}_1-\textbf{x}^*)\geq 0

所以

f(x1)≥f(x∗)

f(\textbf{x}_1)\geq f(\textbf{x}^*)

所以x∗\textbf{x}^*是局部极小值，根据定理1可知x∗\textbf{x}^*也是局部极小值。

同样的，如果f(x)f(\textbf{x})是严格凸函数且

g(x∗)Td>0

\textbf{g}(\textbf{x}^*)^T\textbf{d}>0

那么x∗\textbf{x}^*是强全局极小值。

上面的定理说明，如果f(x)f(\textbf{x})是凸函数，那么x∗\textbf{x}^*是全局极小值的一阶充分条件变成了了必要条件。

因为单变量的凸函数形状像字母UU，而二元凸函数像个碗，所以没有像定理1，2那样表征凸函数极大值的定理，然而，下面的定理是有用的。

定理3：\textbf{定理3：}如果f(x)f(\textbf{x})是定义在有界闭的凸集RcR_c上，那么如果f(x)f(\textbf{x})在RcR_c上有极大值，它一定在RcR_c的边界上。

证明：\textbf{证明：}如果点x\textbf{x}在RcR_c的内部，那么我们可以得出一条通过x\textbf{x}且与边界相交两点x1,x2\textbf{x}_1,\textbf{x}_2的直线，这是因为RcR_c是有界闭集合。因为f(x)f(\textbf{x})是凸函数，所以存在α,0<α<1\alpha,0使得

x=αx1+(1−α)x2

\textbf{x}=\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2

且

f(x)≤αf(x1)+(1−α)f(x2)

f(\textbf{x})\leq \alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_2)

如果f(x1)>f(x2)f(\textbf{x}_1)>f(\textbf{x}_2)，那么

f(x)<αf(x1)+(1−α)f(x1)=f(x1)

\begin{align*} f(\textbf{x}) &

如果

f(x1)<f(x2)

f(\textbf{x}_1)

，那么

f(x)<αf(x2)+(1−α)f(x2)=f(x2)

\begin{align*} f(\textbf{x}) &

接下来如果

f(x1)=f(x2)

f(\textbf{x}_1)=f(\textbf{x}_2)

那么

f(x)≤f(x1)andf(x)≤f(x2)

f(\textbf{x})\leq f(\textbf{x}_1)\quad and\quad f(\textbf{x})\leq f(\textbf{x}_2)

显然，所有可能的极大值都发生在RcR_c的边界上。

这个定理图示如图1。

图1

漫步最优化十五——凸函数优化相关推荐

PostgreSQL：十五. 性能优化
十五. 性能优化优化简介: PostgreSQL优化一方面是找出系统的瓶颈,提高PostgreSQL数据库整体的性能: 另一方面,需要合理的结构设计和参数调整,以提高用户操作响应的速度: 同时还要尽 ...
漫步最优化十六——优化的一般问题
一直没有说我爱你,\textbf{一直没有说我爱你,} 一直没有拥抱你,\textbf{一直没有拥抱你,} 道路上虽然会留下伤口,\textbf{道路上虽然会留下伤口,} 可是随着时间总会愈合.\te ...
漫步最优化二十三——一维优化
你的每一句话,回荡在耳边:\textbf{你的每一句话,回荡在耳边:} 你闪动的双眼,徘徊在脑海.\textbf{你闪动的双眼,徘徊在脑海.} 好像告诉你,\textbf{好像告诉你,} 天天在想你. ...
数据库面试题【十五、优化查询过程中的数据访问】
访问数据太多导致查询性能下降确定应用程序是否在检索大量超过需要的数据,可能是太多行或列确认MySQL服务器是否在分析大量不必要的数据行避免犯如下SQL语句错误查询不需要的数据.解决办法:使用l ...
漫步最优化十——极值类型
深夜里,你不断徘徊在我的心田,\textbf{深夜里,你不断徘徊在我的心田,} 你的每一句誓言都在耳边回荡,\textbf{你的每一句誓言都在耳边回荡,} 你闪动的双眼隐藏着你的羞涩.\textbf{ ...
漫步最优化十九——封闭算法
想你的夜晚,\textbf{想你的夜晚,} 我在屋顶做着一个梦.\textbf{我在屋顶做着一个梦.} 我和你拥抱在明亮的月光下,\textbf{我和你拥抱在明亮的月光下,} 动人的旋律环绕在我俩身边 ...
漫步最优化十八——点到集合的映射
疲倦的时候,有个人会陪你:\textbf{疲倦的时候,有个人会陪你:} 孤单的时候,有个人会想你.\textbf{孤单的时候,有个人会想你.} 我的小宝贝啊,\textbf{我的小宝贝啊,} 好想捏捏 ...
漫步最优化十二——局部极小与极大的充分必要条件(下)
我心里有个小小的愿望,\textbf{我心里有个小小的愿望,} 就是在接下来漫长的路途中,\textbf{就是在接下来漫长的路途中,} 把我们爱的点点滴滴装进行囊.\textbf{把我们爱的点点滴滴装 ...
漫步数理统计十五——两个随机变量的分布
接下里我们讨论两个随机变量的例子.连续掷三次硬币并考虑有序数对(前两次HH的个数,三次中HH的个数),其中H,TH,T 分别表示正面与反面,那么样本空间是C={c:c=ci,i=1,2,-,8}\te ...

漫步最优化十五——凸函数优化

漫步最优化十五——凸函数优化相关推荐

最新文章

热门文章