logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数。本文首先分别介绍logistic函数和softmax函数的定义和应用,然后针对两者的联系和区别进行了总结。
1. logistic函数
1.1 logistic函数定义
引用wiki百科的定义:
A logistic function or logistic curve is a common "S" shape (sigmoid curve).
其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。
logistic函数的公式形式如下:
f(x)=L1+e−k(x−x0)f(x)=L1+e−k(x−x0)
其中,x0x0表示了函数曲线的中心(sigmoid midpoint),kk是曲线的坡度。
logistic的几何形状如下所示:
1.2 logistic函数的应用
logistic函数本身在众多领域中都有很多应用,我们只谈统计学和机器学习领域。
logistic函数在统计学和机器学习领域应用最为广泛或者最为人熟知的肯定是逻辑斯谛回归模型了。逻辑斯谛回归(Logistic Regression,简称LR)作为一种对数线性模型(log-linear model)被广泛地应用于分类和回归场景中。此外,logistic函数也是神经网络最为常用的激活函数,即sigmoid函数。
2. softmax函数
2.1 softmax函数的定义
同样,我们贴一下wiki百科对softmax函数的定义:
softmax is a generalization of logistic function that "squashes"(maps) a KK-dimensional vector zz of arbitrary real values to a KK-dimensional vector σ(z)σ(z) of real values in the range (0, 1) that add up to 1.
这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个KK维的任意实数向量压缩(映射)成另一个KK维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。
softmax函数形式如下:
σ(z)j=ezj∑Kk=1ezkσ(z)j=ezj∑k=1Kezk
其中j=1,2,...,Kj=1,2,...,K。
2.2 sotfmax函数的应用
softmax函数经常用在神经网络的最后一层,作为输出层,进行多分类。此外,softmax在增强学习领域内,softmax经常被用作将某个值转化为激活概率,这类情况下,softmax的公式如下:
Pt(a)=eqt(a)T∑ni=1eqt(i)TPt(a)=eqt(a)T∑i=1neqt(i)T
其中,TT被称为是温度参数(temperature parameter)。当T很大时,即趋于正无穷时,所有的激活值对应的激活概率趋近于相同(激活概率差异性较小);而当T很低时,即趋于0时,不同的激活值对应的激活概率差异也就越大。这个结论很重要,Hinton在2015年的一篇paper中重点阐释了如何根据温度参数来soften神经网络的输出,从而提出了distillation的思想和方法。
3. logistic和softmax的关系
1)logistic具体针对的是二分类问题,而softmax解决的是多分类问题,因此从这个角度也可以理解logistic函数是softmax函数的一个特例。
这里借鉴UFLDL教程中的推导,具体的推导过程如下:
当分类数为2时,softmax回归的假设函数表示如下:
利用softmax回归参数冗余的特点,从两个参数向量中都减去向量θ1θ1,得到:
最后,用θ′θ′来表示θ2−θ1θ2−θ1,上述公式可以表示为softmax回归器预测其中一个类别的概率为
11+eθ′Txi11+eθ′Txi
另一个类别的概率为
1−11+eθ′Txi1−11+eθ′Txi
这与logistic回归是完全一致的。
2)从概率角度来看logistic和softmax函数的区别。
softmax建模使用的分布是多项式分布,而logistic则基于伯努利分布,这方面具体的解释可以参考Andrew Ng的讲义去理解。
3)softmax回归和多个logistic回归的关系。
有了解的同学可能知道多个logistic回归通过叠加也同样可以实现多分类的效果,那么多个logistic回归和softmax一样不一样呢?
softmax回归进行的多分类,类与类之间是互斥的,即一个输入只能被归为一类;
多个logistic回归进行多分类,输出的类别并不是互斥的,即"苹果"这个词语既属于"水果"类也属于"3C"类别。
4. 参考内容
[1] wiki百科:logistic函数
[2] wiki百科:softmax函数
[3] UFLDL教程之softmax回归
转自:
http://www.cnblogs.com/maybe2030/p/5678387.html
logistic函数和softmax函数相关推荐
- [Machine Learning] logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...
- 机器学习 [logistic函数和softmax函数]
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...
- sigmod 函数与softmax 函数对比
sigmod 函数与softmax 函数之间既有类似,又有差异,是两种典型的深度神经网络的activation functions.通俗而言,sigmod 函数常用于二分类,softmax 函数常用于 ...
- sigmoid函数,tanh函数,relu函数,softmax函数
sigmoid函数 数学表达式: f(z)=1/(1+e**-z) Sigmoid 函数的输出范围是 0 到 1.由于输出值限定在 0 到 1,因此它对每个神经元的输出进行了归一化: 用于将预测概率作 ...
- Sigmoid函数与Softmax函数的区别与联系
目录 缘起逻辑回归 Sigmoid Softmax 缘起逻辑回归 逻辑回归模型是用于二类分类的机器学习模型(不要说逻辑回归可以做多类分类啊喂,那是二类分类器的组合策略问题,而与逻辑回归分类器本身的构造 ...
- sigmoid函数、tanh函数、softmax函数及求导
sigmoid函数和tanh函数都是激活函数,接收一个输入,产生一个输出.这里的求导是对激活函数求导.而softmax函数是一个多输入多输出的激活函数,这里提到的求导是对经过softmax函数后进行交 ...
- logisitic和softmax函数
1,logistic函数 其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线.logistic函数的公式形式如下: 其中,x0表示了函数曲线的中心(si ...
- What is the Softmax Function?详解机器学习中的Softmax函数【小白菜可懂】
目录 定义 公式 计算 Softmax vs Sigmoid Softmax vs Sigmoid 计算 Softmax vs Argmax Softmax vs Argmax 计算 应用 神经网络中 ...
- 【深度学习】Softmax 函数
Introduction Softmax函数,又称 归一化指数函数 . 该函数 是最流行的 分类任务目标函数,也是 Sigmoid函数 的一种 推广.可转换为交叉熵误差 (CE) . Softmax ...
最新文章
- linux下应用程序性能剖分神器gprofiler-tools-安装和使用
- 谷歌为何能持续创新?工程经理亲自揭秘“工程师文化”
- 黑客(续) (压位高精+状压dp)
- jvm虚拟机 基于栈_守护基于JVM的应用程序
- 摇杆控制LED灯的亮度
- 基于python的图像分割并计数
- 详细对比9门主流编程语言
- Shell 监控文件变化
- 人与自然灵长类动物-湿地猎手(上)
- RubyInstallers无法下载或下载缓慢的问题
- 串口和TCP调试助手
- 量子力学入门---基本概念
- 真探第一季/全集True Detective1迅雷下载
- Android chrome默认设置Autoplay policy
- 渗透测试-内网横向移动专题
- music功能 vue_vue_music:歌手详情页
- 解决Oracle锁表问题
- 【转载】ARPU ARPPU傻傻分不清楚?手游收入指标名词解释
- vue启动需要安装的软件
- 大华设备通过GB28181协议接入EasyGBS,无法实现公网语音对讲问题的解析