【优化】利普希茨连续（Lipschitz continuous）及其应用

利普希茨连续（Lipschitz continuous）

利普希茨连续的定义是：如果函数fff在区间QQQ上以常数LLL利普希茨连续，那么对于x,y∈Qx, y \in Qx,y∈Q，有：∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣||f(x) - f(y)|| \leq L||x - y||∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣ 其中常数LLL称为fff在区间QQQ上的Lipschitz常数。

除了Lipschitz continuous之外，Lipschitz continuous gradient 和 Lipschitz continuous Hessian也是常用到的概念，它们都是由Lipschitz continuous概念延伸出来的。值得一提的是，很多论文中，尤其是关于凸优化的问题，Lipschitz continuous gradient的应用更为常见。

其中，如果函数fff满足Lipschitz continuous gradient，就意味着它的导数f′f'f′满足Lipschitz continuous，即如果函数fff满足Lipschitz continuous gradient，则：∣∣f′(x)−f′(y)∣∣≤L∣∣x−y∣∣||f'(x) - f'(y)|| \leq L||x - y||∣∣f′(x)−f′(y)∣∣≤L∣∣x−y∣∣

其中，如果函数fff满足Lipschitz continuous Hessian，就意味着它的二阶导数f′′f''f′′满足Lipschitz continuous，即如果函数fff满足Lipschitz continuous Hessian，则：∣∣f′′(x)−f′′(y)∣∣≤L∣∣x−y∣∣||f''(x) - f''(y)|| \leq L||x - y||∣∣f′′(x)−f′′(y)∣∣≤L∣∣x−y∣∣

从上面的定义中可以看出，利普希茨连续限制了函数fff的局部变动幅度不能超过某常量。同样的道理，Lipschitz continuous gradient和Lipschitz continuous Hessian则限制了函数的导函数和二阶导函数的局部变化幅度。

相关定理（Theorems）

1、如果函数fff符合Lipschitz continuous，根据上面的公式可以得到下面的不等式：
{f(y)≤f(x)+L∣∣y−x∣∣f(y)≥f(x)−L∣∣y−x∣∣\left\{ \begin{aligned} f(y)&\leq f(x) + L||y - x||\\ f(y)&\geq f(x)- L||y - x|| \end{aligned} \right.{f(y)f(y)≤f(x)+L∣∣y−x∣∣≥f(x)−L∣∣y−x∣∣固定变量xxx，不等式的右端即是一个一次的函数，即函数fff被一次函数上下逼近。

2、如果函数fff在RnR^{n}Rn上满足Lipschitz continuous gradient，则对于任意x,y∈Rnx, y \in R^{n}x,y∈Rn有：∣f(y)−f(x)−<f′(x),y−x>∣≤L/2∣∣y−x∣∣2|f(y) - f(x) - <f'(x), y - x>| \leq L/2 ||y - x||^{2}∣f(y)−f(x)−<f′(x),y−x>∣≤L/2∣∣y−x∣∣2根据上面的公式，去掉绝对值，可以得到下面的不等式：
{f(y)≤f(x)+<f′(x),y−x>+L/2∣∣y−x∣∣2f(y)≥f(x)+<f′(x),y−x>−L/2∣∣y−x∣∣2\left\{ \begin{aligned} f(y)&\leq f(x) + <f'(x), y-x> + L/2||y - x||^{2}\\ f(y)&\geq f(x) + <f'(x), y-x> - L/2||y - x||^{2} \end{aligned} \right.{f(y)f(y)≤f(x)+<f′(x),y−x>+L/2∣∣y−x∣∣2≥f(x)+<f′(x),y−x>−L/2∣∣y−x∣∣2固定变量xxx，不等式的右端即是一个二次的函数，即函数fff被二次函数上下逼近。或者也可以理解为函数f′f'f′被一次函数上下逼近。
3、如果函数fff在RnR^{n}Rn上满足Lipschitz continuous Hessian，则对于任意x,y∈Rnx, y \in R^{n}x,y∈Rn有：∣f(y)−f(x)−<f′(x),y−x>−12<f′′(x)(y−x),y−x>∣≤L/6∣∣y−x∣∣3|f(y) - f(x) - <f'(x), y - x> - \frac{1}{2}<f''(x)(y - x), y-x>| \leq L/6 ||y - x||^{3}∣f(y)−f(x)−<f′(x),y−x>−21<f′′(x)(y−x),y−x>∣≤L/6∣∣y−x∣∣3根据上面的公式，去掉绝对值，可以得到下面的不等式：
{f(y)≤f(x)+<f′(x),y−x>+12<f′′(x)(y−x),y−x>+L/6∣∣y−x∣∣3f(y)≥f(x)+<f′(x),y−x>+12<f′′(x)(y−x),y−x>−L/6∣∣y−x∣∣3\left\{ \begin{aligned} f(y)&\leq f(x) + <f'(x), y-x> + \frac{1}{2}<f''(x)(y - x), y-x> + L/6 ||y - x||^{3}\\ f(y)&\geq f(x) + <f'(x), y-x> + \frac{1}{2}<f''(x)(y - x), y-x> - L/6 ||y - x||^{3} \end{aligned} \right.⎩⎪⎨⎪⎧f(y)f(y)≤f(x)+<f′(x),y−x>+21<f′′(x)(y−x),y−x>+L/6∣∣y−x∣∣3≥f(x)+<f′(x),y−x>+21<f′′(x)(y−x),y−x>−L/6∣∣y−x∣∣3固定变量xxx，不等式的右端即是一个三次的函数，即函数fff被三次函数上下逼近。或者也可以理解为函数f′′f''f′′被一次函数上下逼近。

关于上面的证明可以参考非凸优化基石：Lipschitz Condition

参考资料

利普希茨连续的几何意义是什么？怎么较好的理解它呢？ - 知乎
非凸优化基石：Lipschitz Condition