Strong-Convexity

强凸性多用在优化中(Optimization)，特别是保证很多基于梯度下降方法的算法的线形收敛速率的条件之一。

定义

一个可微函数强凸的定义是：

$$f(y) \ge f(x) +\nabla f(x)^T(y-x)+\frac{u}{2} \Vert y-x \Vert ^2 $$

值得注意的是，强凸性并不要求函数处处可微(differentiable),当函数不光滑的时候，梯度即用次梯度(sub-gradient)代替。从表达式来看，强凸比一般的凸函数更严格在于其中的的二次项$\frac{u}{2}\Vert y-x \Vert ^2$.因此可以将其表述为u-strong convex。

这个强凸的性质是很重要的。直观从一维函数来说，一般凸函数只要求函数曲线在其切线之上，至于“上”多少没有要求，也就意味着曲线可以无限“贴着”切线，只要保持在其上就行了。毫无疑问，在优化特别是梯度优化中，这种微弱的梯度变化很难实现快速优化，有可能在有限次数还达不到收敛。如果我们取一个接近最小值的解，这也很难。“非常”接近只是一个定性理解，在这种情况下会出现最优解很近似但是决策变量相差巨大的糟糕情况。这时候，多加一个二次项的，保证有一个二次下界，那么不会出现“贴着”切线的情况，优化也变得更加简单。

有的情况下，没有强凸的条件，可以人为加上一个二次项，以获得强凸特性。

性质

除了定义的性质外，强凸函数还有以下的性质。

1.$ (\nabla f(x)-\nabla f(y))^T(x-y)\ge u \Vert x-y \Vert^2 )$2.$ f(ax+(1-a)y)\le af(x)+(1-a)f(y)-\frac{\alpha(1-\alpha)u}{2}\Vert x-y\Vert^2,\alpha\in [0,1] )$

其余情况

某些情况也会表示函数是强凸性质的，其中第一条被称为 Polyak-Lojasiewicz（PL）不等式。

1.$ \frac{1}{2}\Vert \nabla f(x)\Vert^2\ge u(f(x)-f^*) $

2.\(\Vert \nabla f(x)- \nabla f(y)\Vert \ge u \Vert x-y \Vert\）

3.$f(y)\le f(x)+\nabla f(x)^T(y-x)+\frac{1}{2u}\Vert \nabla f(y)-\nabla f(x)\Vert^2$

4.$(\nabla f(x)-\nabla f(y))^T(x-y)\le \frac{1}{u}\Vert \nabla f(x)-\nabla f(y)\Vert^2$

转载于:https://www.cnblogs.com/sybear/p/10850057.html

Strong-Convexity相关推荐

【文献阅读】Federated Accelerated Stochastic Gradient Descent
文章目录 1 Federated Accelerated Stochastic Gradient Descent (FedAc) 2 challenge 3 how to do 4 baseline ...
机器人中的数值优化|【一】数值优化基础
数值优化基础凸集 Convex Sets 凸集的定义令X是线性空间.如果对于X的子集S中的所有x和y,并且在区间 [0,1]中的所有t,点 ( 1 − t ) x + t y (1-t)x + t ...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
来源:AINLPer微信公众号(点击了解一下吧) 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21 2020年的ICLR会议将于今年的4月26日-4月30日在Mil ...
[机器学习-2]梯度下降法及实现（python）
[机器学习-2]梯度下降法及实现(python) 样例(Example) 利普西斯连续(L-continuity) 利普西斯光滑(L-smoothness) 凸集(Convex Set) 凸函数(Co ...
ARC指南 strong和weak指针
一.简介 ARC是自iOS 5之后增加的新特性,完全消除了手动管理内存的烦琐,编译器会自动在适当的地方插入适当的retain.release.autorelease语句.你不再需要担心内存管理,因为编 ...
nonatomic, retain,weak,strong用法详解
strong weak strong与weak是由ARC新引入的对象变量属性 ARC引入了新的对象的新生命周期限定,即零弱引用.如果零弱引用指向的对象被deallocated的话,零弱引用的对象会被自 ...
NSString属性什么时候用copy，什么时候用strong?
我们在声明一个NSString属性时,对于其内存相关特性,通常有两种选择(基于ARC环境):strong与copy.那这两者有什么区别呢?什么时候该用strong,什么时候该用copy呢?让我们先来看 ...
OC指示符assign、atomic、nonatomic、copy、retain、strong、week的解释
在使用@property定义property时可以在@property与类型之间用括号添加一些额外的指示符,常用的指示符有assign.atomic.nonatomic.copy.retain.str ...
strong assign属性
strong: 这要求运行时自动地保留对这个对象的引用.换而言之,ARC(Automatic Reference Counting)在运行时会一直把这个对象保留在内存里,直到它不再被任何其他对象引用. ...
copy, retain, assign , readonly , readwrite,strong,weak,nonatomic整理
copy:建立一个索引计数为1的对象,然后释放旧对象对NSString 对NSString 它指出,在赋值时使用传入值的一份拷贝.拷贝工作由copy方法执行,此属性只对那些实行了NSCopying协 ...

Strong-Convexity

Strong-Convexity相关推荐

最新文章

热门文章