次梯度（subgradient）

次导数

设f在实数域上是一个凸函数，定义在数轴上的开区间内。
这种函数不一定是处处可导的，例如绝对值函数f(x) = |x| 。
对于下图来说，对于定义域中的任何x0，我们总可以作出一条直线，它通过点(x0, f(x0))，并且要么接触f的图像，要么在它的下方。
直线(红线)的斜率称为函数的次导数。次导数的集合称为函数f在x0处的次微分。

定义

对于所有x，我们可以证明在点x_0 的次导数的集合（这个集合里面的元素是无限多的，因为这里的红线可以不停地摇摆）是一个非空闭区间[a,b]，其中a和b是单测极限。
a=lim⁡x−>x0−f(x)−f(x0)x−x0a = \lim_{x->x^-_0} \frac {f(x)- f(x_0)}{x-x_0}a=x−>x0−limx−x0f(x)−f(x0)
b=lim⁡x−>x0+f(x)−f(x0)x−x0b =\lim_{x->x^+_0} \frac {f(x)- f(x_0)}{x-x_0}b=x−>x0+limx−x0f(x)−f(x0)
一定存在，且a<=b，在[a,b]内的所有次导数是f在x0的次微分。

例子

凸函数f(x)=|x|。在原点的次微分是[-1,1]。当x0<0时，次微分是单元素集合{-1},而x0>0时，次微分单元素集合是{1}。

性质

当函数在x0处可导时，次微分只有一个点组成，这个点就是函数在x0处的导数。

次梯度法

次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。它的优势是比传统方法处理问题范围大，劣势是算法收敛速度慢。但它对不可导函数有很好的处理方法。
通过求函数在点的每一分量的次导数可以求出函数在该点的次梯度。

本文来自 changtingwai58 的CSDN 博客，全文地址请点击：https://blog.csdn.net/sinat_27612639/article/details/70049715?utm_source=copy

次梯度（subgradient）相关推荐

python实现次梯度(subgradient)和近端梯度下降法 (proximal gradient descent)方法求解L1正则化
l1范数最小化考虑函数,显然其在零点不可微,其对应的的次微分为: 注意,的取值为一个区间. 两个重要定理: 1)一个凸函数,当且仅当,为全局最小值,即为最小值点 : 2)为函数(不一定是凸函数) ...
【机器学习】次梯度（subgradient）方法
次梯度方法(subgradient method)是传统的梯度下降方法的拓展,用来处理不可导的凸函数.它的优势是比传统方法处理问题范围大,劣势是算法收敛速度慢.但是,由于它对不可导函数有很好的处理方法 ...
UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent
UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent 前三讲完成了对sparse signal recove ...
UA SIE545 优化理论基础2 凸函数概念理论总结
UA SIE545 优化理论基础2 凸函数概念理论总结凸函数的概念与简单性质 Convex function f:S→Rf:S \to \mathbb{R}f:S→R where SSS is ...
深度学习中的激活函数与梯度消失
转载请注明出处:http://www.cnblogs.com/willnote/p/6912798.html 前言深度学习的基本原理是基于人工神经网络,信号从一个神经元进入,经过非线性的激活函数,传 ...
Split-Bregman迭代方式
本文简要叙述当前流行的Bregman迭代算法的一些原理. 1.简介近年来,由于压缩感知的引入,L1正则化优化问题引起人们广泛的关注.压缩感知,允许通过少量的数据就可以重建图像信号.L1正则化问题是凸 ...
最优化学习最速下降法（steepest Descent)
最速下降法(steepest Descent) 最速(陡)下降法(steepest Descent) v正则化为2范数 v为1范数和v为无穷范数 Steepest Gradient的变种坐标轴交替下 ...
ESL第十七章无向图模型学习/推断/成对马尔可夫独立/全局马尔可夫性、协方差图/高斯图/修改回归算法/图结构估计/图lasso、【受限】玻尔兹曼机/泊松对数线性建模/迭代比例过滤/对比散度
目录 17.1 导言 17.2 马尔可夫图及其性质 17.3 连续变量的无向图模型 17.3.1 图结构已知的参数估计 17.3.2 估计图结构 17.4 离散变量的无向图模型 17.4.1 图结构已 ...
支持向量机 (三)：优化方法与支持向量回归
拉格朗日乘子法 - KKT条件 - 对偶问题支持向量机 (一): 线性可分类 svm 支持向量机 (二): 软间隔 svm 与核函数支持向量机 (三): 优化方法与支持向量回归优化方法一.S ...
机器学习最优化算法的演变，FTRL一路走来，从LR - SGD - TG - FOBOS - RDA - FTRL
本文会尝试总结FTRL的发展由来,总结从LR -> SGD -> TG -> FOBOS -> RDA -> FTRL 的发展历程.本文的主要目录如下: 一. LR模 ...

次梯度（subgradient）

次梯度（subgradient）相关推荐

最新文章

热门文章