深度学习之基础篇：凸学习问题

简介

深度学习中，凸优化的重要性不言而喻。为了更好的理解凸优化，这里对凸学习问题、凸性及相关性质做一个简单总结：

这里我们依次来了解其中各个性质。

基本概念

1. 凸集

定义：设C是向量空间中的一个集合，若对C中任意两点u和v，连接他们的线段仍在C中，那么集合C是一个凸集。
也即，对任一实数α∈[0, 1]，都有

αu+(1-α)v∈C

图片引用自我爱机器学习

根据定义，图1中左图为凸集，右图为非凸集。

2. 凸函数

定义：设C是一个凸集，如果对任意的u，v∈C及α∈[0, 1]，函数f:C→R满足

f(αu + (1-α)v) ≤ αf(u) + (1-α)f(v)

则称f为C上的凸函数。
性质1: 凸函数的每一个局部极小值也是全局极小值。
性质2: 对于凸可微函数，有：

∀u, f(u) ≥ f(w) + <▽f(w), u-w>

性质一，通过任意小的α构造u和u+α(v-u)数据同一局部域中，再结合凸函数定义即可证明。
性质二，通过偏导的定义，令α→0，再结合凸函数定义即可证明。
证明过程就不再赘述。

引理：设f:R→R是一个二阶可微的标量函数，则下列命题等价：

f是凸的。
f的一阶导是单调不减的。
f的二阶导是非负的。

3. 利普希茨性

定义：设C∈R^d, f:R^d→R^k,如果对于任意的w₁，w₂∈C，有

||f(w₁) - f(w₂)|| ≤ ρ|| w₁-w₂ ||

那么， f是ρ-利普希茨的。
直观的讲，利普希茨函数变化不会太快。
对于可微函数，由中值定理可知

f(w₁) - f(w₂) = f’(u)(w₁-w₂)

其中u位于w₁，w₂之间，若f的导数绝对值处处以 ρ为界，则函数f是 ρ-利普希茨的。

4. 光滑性

定义：如果可微函数f:R^d→R的梯度是ρ-利普希茨的，即对于所有的v，w满足||▽f(v) - ▽f(w)|| ≤ ρ|| v-w ||，那么f是ρ-光滑。
如果一个函数既凸又光滑时，我们可以同时得到函数与其一阶近似差值的上下界，这种函数也称为自有界函数。

凸学习问题

定义：如果假设类H是凸集，且对于任意的z∈样本集Z，损失函数L是凸函数，那么学习问题（H，Z，L）是凸的。

1. 凸学习问题的可学习性

不是R^d上所有的凸学习问题都是可学习的，还需添加一些额外的约束条件使其可学习，比如可以假设损失函数具有利普希茨性或光滑性。

2. 凸利普希茨有界学习

如果假设类H是一个凸集，且对于所有的w∈H都成立||w|| ≤ B; 对于所有的z∈Z，损失函数是凸的且是ρ-利普希茨，则称学习问题（H，Z，L）是凸利普希茨有界的。

3.凸光滑有界学习

如果假设类H是一个凸集，且对于所有的w∈H都成立||w|| ≤ B; 对于所有的z∈Z，损失函数是凸的，非负的且是ρ-光滑，则称学习问题（H，Z，L）是凸光滑有界的。