函数强凸 strong convexity

接着上一篇文章，我们接着说函数的强凸性。

定义：若函数f(x)满足参数 $\alpha-$ strong convex

则 $f(y) \geq f(x) + \bigtriangledown f(x)(y-x)^{T} +\frac{\alpha}{2}||y-x||^{2}$

通过这个式子我们可以看到，所谓的强凸就是比凸多了最后项非零项，自然就比一般的凸更加严格了，所以强凸是不是也比较容易理解了。

Claim 如果函数f(x)强凸，则函数 $g(x) = f(x) - \frac{\alpha}{2}||x||^{2}$ 为凸函数。

是不是觉得这个claim 与平滑中的 claim很像，的确是的。我们先证明一下这个性质。

Proof : 如果g(x)为凸函数，那么g(x)需要满足凸函数的性质即

$g(y) \geq g(x) + \bigtriangledown g(x)(y-x)^{T} \\ \Rightarrow f(y) - \frac{\alpha}{2}||y||^{2} \geq f(x) - \frac{\alpha}{2}||x||^{2} +(\bigtriangledown f(x)-\alpha x)(y-x) \\ \Rightarrow f(y) \geq f(x) +\bigtriangledown f(x)(y-x) + \frac{\alpha}{2}||y-x||^{2}$

由于f(x)是强凸函数，因此命题得证。

实际上，如果f(x)是强凸函数，我们还可以得到

$\bigtriangledown ^{2}f(x) \succeq \alpha I$

二次导数有下界。平滑是二次导数有上界。

同时，我们可以看出强凸与平滑并不等价。强凸是凸，而平滑则不是。如果 $\alpha < \beta$ ,此时，函数是可能即平滑又强凸的。

函数强凸 strong convexity相关推荐

C语言强数Strong number算法(附完整源码)
强数Strong number算法何为Strong number强数 C语言强数Strong number算法完整源码(定义,实现,main函数测试) 何为Strong number强数强数是一个 ...
java强引用不会被回收_强引用(Strong Reference)-不回收
在Java程序中,最常见的引用类型是强引用(普通系统99%以上都是强引用),也就是我们最常见的普通对象引用,也是默认的引用类型. 当在Java语言中使用new操作符创建一个新的对象,并将其赋值给一个变 ...
强凸性带来的距离最优值的上下界
与平滑性类似,强凸也会带来一个类似的上下界.我们先上结论: 如果函数是,那么存在这么一个上下界这个界与平滑那个上下界简直不要太像,只是换了一下位置.接下来我们证明. 已知函数强凸,有我们令,其中是 ...
机器人中的数值优化|【一】数值优化基础
数值优化基础凸集 Convex Sets 凸集的定义令X是线性空间.如果对于X的子集S中的所有x和y,并且在区间 [0,1]中的所有t,点 ( 1 − t ) x + t y (1-t)x + t ...
OpenCV-Python (官方)中文教程(部分一)
官网链接(英文版):https://docs.opencv.org/4.1.1/d6/d00/tutorial_py_root.html 第一章. OpenCV简介了解如何在计算机上设置OpenCV ...
凸优化学习笔记 11：对偶原理拉格朗日函数
前面讲了凸优化问题的定义,以及一些常见的凸优化问题类型,这一章就要引入著名的拉格朗日函数和对偶问题了.通过对偶问题,我们可以将一些非凸问题转化为凸优化问题,还可以求出原问题的非平凡下界,这对复杂优化问 ...
C语言中的弱符号与强符号介绍
弱符号(Weak symbol)是链接器(ld)在生成ELF(Executable and Linkable Format,缩写为ELF,可执行和可链接格式,是一种用于可执行文件.目标文件.共享库和核 ...
ML之sklearn：sklearn.linear_mode中的LogisticRegression函数的简介、使用方法之详细攻略
ML之sklearn:sklearn.linear_mode中的LogisticRegression函数的简介.使用方法之详细攻略目录 sklearn.linear_mode中的LogisticRe ...
Java 笔试强训牛客网选择编程题 01
一.选择 1.单选 1.1.语法: public class Test3{public static void main(String[] args) {System.out.println(100 ...
python画反比例函数_反比例光滑支撑向量机
1. 引言 2001年Lee等人通过对支撑向量机的深入研究引入光滑的概念,使用了sigmoid积分函数p(x,α)对无约束的支撑向量机模型SVM [1] 进行光滑化,得出了分类性能较好的光滑支撑向量机 ...

函数强凸 strong convexity

函数强凸 strong convexity相关推荐

最新文章

热门文章