在机器学习中，要做的核心工作之一就是根据实际问题，定义出一个目标函数，接着找到这个目标函数的最优解。在找这个最优解的过程中，你可能会生不如死~

但是，上帝关上了你的门，总会给你打开一扇窗~

有一类问题叫做凸优化问题，我们可以比较有效的找到全局最优解。这就是今天我们就来介绍的主角——凸优化。话不多说，先来看一下相关的一些定义。

1、凸函数

若

 是凸函数，（如 

 ）则函数图像位于凸函数上方的区域构成凸集。

有：

• 凸函数图像的上方区域，一定是凸集。

• 一个函数图像的上方区域是凸集，则该函数就是凸函数。

• 凸函数的局部最小值就是全局最小值。

正式定义：

（1）若函数 

 的定义域 

 为凸集，且满足

则有：

（2）若函数 

 一阶可微，则函数 

 为凸函数当且仅当 

 的定义域domf为凸集，且：

（3）若函数 

 二阶可微，则函数 

 为凸函数当且仅当 

 的定义域domf为凸集，且：

若 

  是一元函数，上式表示二阶导大于等于零。

若 

  是多元函数，上式表示二阶导 

 矩阵半正定。

凸函数的举例：

• 指数函数：
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  

• 幂函数：
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
   或 
  
  
  
  
  
  
  
  
  
  

• 负对数函数：
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  

• 负熵函数：
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  

• 范数函数：
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  

• 最大值函数：

• 指数线性函数：

  最大值函数：

指数线性函数：

2、仿射集

若通过集合 

 中任意两个不同点的直线仍然在集合 

 内，则称集合 

 为仿射集。

 ，

则 

直线，平面和超平面都属于仿射集：

 维空间的 

 -1维仿射集为 

 -1维超平面。

3、凸集

集合 

 内任意两点间的线段均在集合 

 内，则称集合 

 为凸集：

 ，

则 

 ，

则 

一般来说，仿射集的要求更高，仿射集必然是凸集，凸集未必是仿射集。

4、分割超平面

设 

 和 

 是两个不相交的凸集，则存在超平面 

，

 可以将 

 和 

 分离。

有：   

 ，

且  

5、支持超平面

设集合 

 ， 

 为 

 边界上的点。若存在 

 ，满足对任意 

 ，都有 

 成立，则称超平面 

 为集合 

 在点 

 处的支撑超平面。

凸集边界上任意一点，均存在支撑超平面。反之，若一个闭的非中空（内部点不为空）集合，在边界上的任意一点存在支撑超平面，则该集合为凸集。

以上就是凸优化相关知识的一些定义啦。下面给大家介绍一下Jensen不等式。Jensen不等式（Jensen's inequality）是以丹麦数学家Johan Jensen命名的，它在概率论、机器学习、测度论、统计物理等领域都有相关应用。 

 不等式相当于把凸函数的概念反过来说,即是如果 

 是一个凸函数,任意取一个在 

 定义域上的

 点，

若 

 是凸函数，有 :

  有

若  

则：

若  

  

  

则：

• 
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
   不等式是几乎所有不等式的基础

1、利用 

 是凸函数，证明：

 。

提示：任取 

 代入基本 

 不等式。

2、利用 

 ( 

 是凸函数)，证明下式 

 。其中，

证明：

注意到 

 在定义域上是凸函数，则：

=0

好了，以上就是本期的分享啦，凸优化，我们下期再会，未完待续。。。。

如果你觉得内容还不错~

可以点一下“在看”

或上github帮我们“star”一下~

编辑：yxc

最后如果你觉得内容还不错，欢迎安利给你的各个小伙伴~

- END -

如果看到这里，说明你喜欢这篇文章，请转发、点赞。扫描下方二维码或者微信搜索「perfect_iscas」，添加好友后即可获得10套程序员全栈课程+1000套PPT和简历模板，向我私聊「进群」二字即可进入高质量交流群。

↓扫描二维码进群↓

喜欢文章，点个在看