Logistic Regression 之 Sigmoid

2024-05-30 15:06:11

逻辑回归（Logistic Regression, LR）模型是一个二分类模型，属于广义线性模型，它还有个名字叫做二项逻辑斯蒂(谛)回归（不知为什么加个斯蒂(谛)），虽然叫XX回归，但却不属于回归模型。
用概率的观点看待二分类问题，模型(这个模型是贝叶斯模型)的数学表示：P(Y|x)
类别y1的后验概率可以写成：

P(y1|x)=P(x|y1)P(y1)p(x|y1)P(y1)+p(x|y2)P(y2)

P(y1|x)=\frac{P(x|y1)P(y1)}{p(x|y1)P(y1)+p(x|y2)P(y2)}
上下同除以 P(x|y1)P(y1):{P(x|y1)P(y1)}:

P(y1|x)=11+p(x|y2)P(y2)p(x|y1)P(y1)

P(y1|x)=\frac{1}{1+\frac{p(x|y2)P(y2)}{p(x|y1)P(y1)}}
可进一步转换：取a =lnP(x|y1)P(y1)p(x|y2)P(y2)=\ln\frac{P(x|y1)P(y1)}{p(x|y2)P(y2)}
于是有:

P(y1|x)=11+e−a

P(y1|x)=\frac{1}{1+e^{-a}}
可以看到a等于y1发生的概率与y2发生概率的比值（事件的几率）取对数，这里为什么取对数呢？……似乎为了引进sigmoid()函数（我曾经也被这样灌输过，那么为什么引进sigmoid()函数呢？………..），嗯，先放一放。
我们回过头来，根据朴素贝叶斯当y1类发生的概率大于y2类发生的概率时，为y1类，此时a>0(a =lnP(x|y1)P(y1)p(x|y2)P(y2)=\ln\frac{P(x|y1)P(y1)}{p(x|y2)P(y2)})，反之,为y2类，此时a<0,此时想起来了线性回归，仿佛有点联系，好的，看下面：
我们知道线性模型中，可分的超平面S：W*X+b=0,可以看作W*X，为直观感受，对二维平面的点进行分类，若W*X大于0，那么我们可以称为y1类，小于0，称为y2类，这是线性回归,

如果我们令a=W*X,这个模型正好可以满足，于是就把这个模型称为逻辑回归。
所以有：

P(y1|x)=11+e−W∗X

P(y1|x)=\frac{1}{1+e^{-W*X}}
在PRML书上也没具体说这个，直接把sigmoid引进作用在线性函数上，就称之为logistic回归，在《统计学习方法》上，直接来了定理，然后把对数几率作用在W*X上。在网上也看了好多资料，似乎也没讲清楚，都是引入sigmod()进来之后，再谈引入sigmod()函数的好处，不太严谨。

参考：《统计学习方法》，《模式识别与机器学习》

Logistic Regression 之 Sigmoid相关推荐

Linear Regression、Logistic Regression、激励函数activation function（relu,sigmoid, tanh, softplus）
1.5.2.Linear Regression 1.5.2.1.Linear Regression 1.5.2.1.1.案例1 1.5.2.1.2.案例2 1.5.2.1.3.案例3源码(带有保存模型 ...
机器学习与高维信息检索 - Note 3 - 逻辑回归（Logistic Regression）及相关实例
逻辑回归 Logistic Regression 3. 逻辑回归补充: 凸性 Convexity 定义3.1 定理3.2 定理3.3 成本函数的凸性 3.1逻辑回归的替代方法 3.2 线性可分性和逻 ...
逻辑回归(Logistic Regression)简介及C++实现
逻辑回归(Logistic Regression):该模型用于分类而非回归,可以使用logistic sigmoid函数( 可参考:http://blog.csdn.net/fengbingchun/ ...
Logistic Regression
Logistic Regression 又称逻辑回归,分类算法中的二分类算法,属于监督学习的范畴,算法复杂度低. 1.模型 Logistic Regression模型是广义线性模型的一种,属于线性的分 ...
python训练模型函数参数_一步步亲手用python实现Logistic Regression
前面的[DL笔记1]Logistic回归:最基础的神经网络和[DL笔记2]神经网络编程原则&Logistic Regression的算法解析讲解了Logistic regression的基本原 ...
深度学习 Deep LearningUFLDL 最新Tutorial 学习笔记 2：Logistic Regression
1 Logistic Regression 简述 Linear Regression 研究连续量的变化情况,而Logistic Regression则研究离散量的情况.简单地说就是对于推断一个训练样本 ...
【机器学习】逻辑回归（Logistic Regression）
注:最近开始学习<人工智能>选修课,老师提纲挈领的介绍了一番,听完课只了解了个大概,剩下的细节只能自己继续摸索. 从本质上讲:机器学习就是一个模型对外界的刺激(训练样本)做出反应,趋利避害 ...
Logistic Regression(逻辑回归) +python3.6(pycharm)实现
数学基础知识略过,可自行查询探究. 遇到的bugs: 1.AttributeError: module 'scipy' has no attribute '__version__' 解决办法:inst ...
Logistic Regression（逻辑回归）原理及公式推导
Logistic Regression(逻辑回归)原理及公式推导 Logistic Regression(逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模 ...

最新文章

热门文章