机器学习 [logistic函数和softmax函数]
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用,然后针对两者的联系和区别进行了总结
1. logistic函数
1.1 logistic函数定义
引用wiki百科的定义:
A logistic function or logistic curve is a common "S" shape (sigmoid curve).
其实逻辑斯谛函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线。
logistic函数的公式形式如下:
其中,x0表示了函数曲线的中心(sigmoid midpoint),k是曲线的坡度。
logistic的几何形状如下所示:
1.2 logistic函数的应用
logistic函数本身在众多领域中都有很多应用,我们只谈统计学和机器学习领域。
logistic函数在统计学和机器学习领域应用最为广泛或者最为人熟知的肯定是逻辑斯谛回归模型了。逻辑斯谛回归(Logistic Regression,简称LR)作为一种对数线性模型(log-linear model)被广泛地应用于分类和回归场景中。此外,logistic函数也是神经网络最为常用的激活函数,即sigmoid函数。
2. softmax函数
2.1 softmax函数的定义
同样,我们贴一下wiki百科对softmax函数的定义:
softmax is a generalization of logistic function that "squashes"(maps) a K-dimensional vector z of arbitrary real values to a K-dimensional vector σ(z) of real values in the range (0, 1) that add up to 1.
这句话既表明了softmax函数与logistic函数的关系,也同时阐述了softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间。
softmax函数形式如下:
其中j=1,2,...,K。
2.2 sotfmax函数的应用
softmax函数经常用在神经网络的最后一层,作为输出层,进行多分类。此外,softmax在增强学习领域内,softmax经常被用作将某个值转化为激活概率,这类情况下,softmax的公式如下:
其中,T被称为是温度参数(temperature parameter)。当T很大时,即趋于正无穷时,所有的激活值对应的激活概率趋近于相同(激活概率差异性较小);而当T很低时,即趋于0时,不同的激活值对应的激活概率差异也就越大。这个结论很重要,Hinton在2015年的一篇paper中重点阐释了如何根据温度参数来soften神经网络的输出,从而提出了distillation的思想和方法。
3. logistic和softmax的关系
1)logistic具体针对的是二分类问题,而softmax解决的是多分类问题,因此从这个角度也可以理解logistic函数是softmax函数的一个特例。
这里借鉴UFLDL教程中的推导,具体的推导过程如下:
当分类数为2时,softmax回归的假设函数表示如下:
利用softmax回归参数冗余的特点,从两个参数向量中都减去向量θ1,得到:
最后,用θ′来表示θ2−θ1,上述公式可以表示为softmax回归器预测其中一个类别的概率为
另一个类别的概率为
这与logistic回归是完全一致的。
2)从概率角度来看logistic和softmax函数的区别。
softmax建模使用的分布是多项式分布,而logistic则基于伯努利分布,这方面具体的解释可以参考Andrew Ng的讲义去理解。
3)softmax回归和多个logistic回归的关系。
有了解的同学可能知道多个logistic回归通过叠加也同样可以实现多分类的效果,那么多个logistic回归和softmax一样不一样呢?
softmax回归进行的多分类,类与类之间是互斥的,即一个输入只能被归为一类;
多个logistic回归进行多分类,输出的类别并不是互斥的,即"苹果"这个词语既属于"水果"类也属于"3C"类别。
4. 参考内容
[1] wiki百科:logistic函数
[2] wiki百科:softmax函数
[3] UFLDL教程之softmax回归
机器学习 [logistic函数和softmax函数]相关推荐
- [Machine Learning] logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数,若有不足之处,希望大家可以帮忙指正.本文首先分别介绍logistic函数和softmax函数的定义和应用, ...
- logistic函数和softmax函数
简单总结一下机器学习最常见的两个函数,一个是logistic函数,另一个是softmax函数.本文首先分别介绍logistic函数和softmax函数的定义和应用,然后针对两者的联系和区别进行了总结. ...
- sigmod 函数与softmax 函数对比
sigmod 函数与softmax 函数之间既有类似,又有差异,是两种典型的深度神经网络的activation functions.通俗而言,sigmod 函数常用于二分类,softmax 函数常用于 ...
- sigmoid函数,tanh函数,relu函数,softmax函数
sigmoid函数 数学表达式: f(z)=1/(1+e**-z) Sigmoid 函数的输出范围是 0 到 1.由于输出值限定在 0 到 1,因此它对每个神经元的输出进行了归一化: 用于将预测概率作 ...
- Sigmoid函数与Softmax函数的区别与联系
目录 缘起逻辑回归 Sigmoid Softmax 缘起逻辑回归 逻辑回归模型是用于二类分类的机器学习模型(不要说逻辑回归可以做多类分类啊喂,那是二类分类器的组合策略问题,而与逻辑回归分类器本身的构造 ...
- sigmoid函数、tanh函数、softmax函数及求导
sigmoid函数和tanh函数都是激活函数,接收一个输入,产生一个输出.这里的求导是对激活函数求导.而softmax函数是一个多输入多输出的激活函数,这里提到的求导是对经过softmax函数后进行交 ...
- 机器学习--logistic回归和softmax回归
logistic回归和softmax回归放在一起总结一下,其实softmax就是logistic的推广,logistic一般用于二分类,而softmax是多分类. logistic回归虽然也是叫回归, ...
- What is the Softmax Function?详解机器学习中的Softmax函数【小白菜可懂】
目录 定义 公式 计算 Softmax vs Sigmoid Softmax vs Sigmoid 计算 Softmax vs Argmax Softmax vs Argmax 计算 应用 神经网络中 ...
- logisitic和softmax函数
1,logistic函数 其实logistic函数也就是经常说的sigmoid函数,它的几何形状也就是一条sigmoid曲线.logistic函数的公式形式如下: 其中,x0表示了函数曲线的中心(si ...
最新文章
- 使用sumlime text有感
- vivado VIO (virtual input output)虚拟IO的使用
- 机器学习知识点(二十八)Beta分布和Dirichlet分布理解
- 数据挖掘——数据仓库
- win7映射网络驱动器消失了_win7怎么映射网络驱动器|win7设置网络驱动器的方法...
- 解决火狐https问题 安全连接问题
- 【转】file_get_contents(php://input)的使用方法
- php redis type,redis中的几种常用基础对象介绍
- php序列化函数输入0存不了,php序列化函数的区别
- 第四章Python数值计算工具 ——Numpy
- 为 DEV-C++ 生成 libmysql.a 的过程 及 windows下 devc++ c语言访问mysql数据库 环境配置...
- scrapy-redis的官方文档和源码位置
- PS抠图小技巧-【色彩范围】
- latex 输入下划线_
- 用大数据调控旅游市场
- 手机浏览器类型ua php,通过userAgent判断手机浏览器类型
- 今天小暑是什么时间_2020年小暑具体时间是几点几分?小暑是什么意思?
- 走进通信:为什么4G信号满格,却上不了网呢
- 谷歌浏览器打包扩展程序(记录扩展程序根目录)
- 【转】这些JavaScript编程黑科技,装逼指南,高逼格代码,让你惊叹不已