logistic公式形式的由来，从广义线性回归说起

普通线性回归的形式为： $y=x^T\beta$ （之所以这么写是因为 $\beta$ 的线性才是线性的所指）

线性回归模型有一下以下几个特征：

1. $Ey=\mu=x'b$

2.x,y 通常取值连续

3.y的分布为正态分布或接近正态。

广义线性模型进行了如下推广：

1. $Ey=\mu=h(x'b)$ ，h为严格单调充分光滑已知函数。 $g=h^{-1}$ （h的反函数）称为联系函数。 $g(\mu)=x'b$ ;

2.x,y可去连续或离散值，离散值比较常见。

3.y的分布推广到指数型分布，正态是其特例。 y的密度形式：

$f(y;\theta)=exp\left[\frac{\theta y-b(\theta)}{\phi}+c(y,\phi)) \right ]$

b(·) ，c(·)为已知函数， $\theta$ 为自然参数， $\phi$ 为额外参数或散布参数。

此时可以证明， $E(y)=\dot b(\theta),Var(y)=\phi \ddot b(\theta)$ b上面加一点表示b的一阶导数,两点代表其二阶导数。

(y1,y2,y3,y4...)的联合分布函数（似然函数）为：

$exp \left[\frac{\sum_{i=1}^{n}\theta_{i}y_{i}-\sum^{n}_{i=1}b(\theta_{i})}{\phi}-\sum^{n}_{i=1}c(y_{i},\phi) \right ]$

其中，因为 $\dot b(\theta_{i})=Ey=h(x_{i}'b)\Rightarrow \theta_{i}=\theta_{i}(\beta)=\dot b^{-1}[h(x_{i}'\beta)]$

所以 $\dot b^{-1}$ 刚好等于h的反函数时（h=·b），该似然函数有最简单形式：

$exp \left[\frac{\beta'\sum^{n}_{i=1}x_{i}y_{i}-\sum^{n}_{i=1}b(x_{i}'\beta)}{\phi}-\sum^{n}_{i=1}c(y_{i},\phi) \right ]$

下面我们对二分类（0-1,logic）问题进行讨论：

对于 y=f(x)，y的取值为只有0 1的问题，

记 $\pi =P(y=1)$ ，y的密度表达式为 $\pi^{y}(1-\pi)^{1-y}$ ，若要写成指数形式，经推导，可另 $\theta=\mbox{log}\frac{\pi}{1-\pi}$ （相对应的， $\pi=\frac{e^{\theta}}{1+e^{\theta}}$ ）,

这样密度表达式（ $\pi^{y}(1-\pi)^{1-y}$ ）有指数形式：， $exp(\theta y-log(1+e^{\theta})),-\infty$

。相当于 $\phi =1,b(\theta)=ln(1+e^{\theta})$ 。

所以，

$h(\theta)=\dot b(\theta)=\frac{e^{\theta}}{1+e^{\theta}}$ 是我们想要的最简形式。

此时， $P(y)=\pi=\frac{e^{\theta}}{1+e^{\theta}}=\frac{e^{x'\beta}}{1+e^{\x'\beta}}$ ，这就是著名的logistic模型。

另外，可以验证定理，

$\dot b(\theta)=\frac{e^{\theta}}{1+e^{\theta}}=\pi(=Ey)$ ，均值

$\phi \ddot{b}(\theta)=\frac{e^{\theta}}{(1+e^{\theta})^{2}}=\pi(1-\pi)(=Var(y))$ ，方差

注：大部分内容源自zhang san guo老师课件。

转载于:https://www.cnblogs.com/zxfengye/p/4156567.html

logistic公式形式的由来，从广义线性回归说起相关推荐

r语言回归分析分类变量_R语言进阶之广义线性回归
广义线性回归是一类常用的统计模型,在各个领域都有着广泛的应用.今天我会以逻辑回归和泊松回归为例,讲解如何在R语言中建立广义线性模型. 在R语言中我们通常使用glm()函数来构建广义线性模型,glm实际 ...
广义线性回归模型之0,1变量回归（logit/probit回归）—R语言实现
1.广义线性回归广义线性模型有三个组成部分: (1) 随机部分, 即变量所属的指数族分布族成员, 诸如正态分布, 二项分布, Poisson 分布等等. (2) 线性部分, 即 η = x⊤β. ...
广义线性回归 logit和probit
## 广义线性回归___Logit模型(y为体育锻炼强度). #install.packages("ResourceSelection") library(ResourceSele ...
excel计算二元线性回归_R 回归分析（六）广义线性回归模型
广义线性回归模型(GLM)是常见正太线性模型的直接推广,它适用于连续数据和离散数据,特别是后者,如属性数据.计数数据. 广义线性回归模型要求响应变量只能通过线性形式依赖于自变量,从而保持了线性自变量的 ...
用Python底层编写进行计量经济分析（四）：自相关（原因、结果、检验：DW检验、补救：广义线性回归）
系列前面的文章: 多元线性回归和显著性检验(参数估计.T检验.F检验.拟合优度) 多重共线性(导致结果.检验--方差膨胀因子.补救措施--岭回归) 异方差(导致结果.检验--White.补救措施--广 ...
泊松回归、gamma回归、Tweedie回归等广义线性回归模型GLM的评估指标：校准曲线、洛伦兹曲线、卡方检验、AIC、BIC、偏差（Deviance）指标
泊松回归.gamma回归.Tweedie回归等广义线性回归模型GLM的评估指标:校准曲线(Calibration curve). 洛伦兹曲线(Lorenz Curve).卡方检验.AIC.BIC.偏差 ...
用Python开始机器学习（3：数据拟合与广义线性回归）
用Python开始机器学习(数据拟合与广义线性回归) 原文:http://blog.csdn.net/lsldd/article/details/41251583 本文发现,有的时候,次数是100的时 ...
sklearn自学指南(part15)--广义线性回归
学习笔记,仅供参考,有错必纠文章目录线性模型广义线性回归用法实际问题线性模型广义线性回归广义线性模型(GLM)以两种方式扩展线性模型. 首先,预测值 y ^ \hat{y}
机器学习(三)线性回归、广义线性回归、非线性回归
机器学习(三)线性回归模型.广义线性回归模型.非线性回归模型线性回归(数据集要满足正态分布) 一元线性回归模型: 在这里会想到,如何确定方程中的系数呢?我们先来了解最小二乘法,简单来说就是这个点作y ...

logistic公式形式的由来，从广义线性回归说起

logistic公式形式的由来，从广义线性回归说起相关推荐

最新文章

热门文章