广义线性模型逻辑回归与softmax的推导

今天我来介绍一种在机器学习中应用的比较多的模型，叫做广义线性模型（GLM）。这种模型是把自变量的线性预测

函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵

模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。

Contents

1. 广义线性模型的认识

2. 常见概率分布的认识

1. 广义线性模型的认识

首先，广义线性模型是基于指数分布族的，而指数分布族的原型如下

其中为自然参数，它可能是一个向量，而叫做充分统计量，也可能是一个向量，通常来说。

实际上线性最小二乘回归和Logistic回归都是广义线性模型的一个特例。当随机变量服从高斯分布，那么

得到的是线性最小二乘回归，当随机变量服从伯努利分布，则得到的是Logistic回归。

那么如何根据指数分布族来构建广义线性模型呢？首先以如下三个假设为基础

（1）给定特征属性和参数后，的条件概率服从指数分布族，即。

（2）预测的期望，即计算。

（3）与之间是线性的，即。

在讲解利用广义线性模型推导最小二乘和Logistic回归之前，先来认识一些常见的分布，这是后面的基础。

2. 常见概率分布的认识

（1）高斯分布

关于高斯分布的内容我就不再多讲了，如果把它看成指数分布族，那么有

对比一下指数分布族，可以发现

所以高斯分布实际上也是属于指数分布族，线性最小二乘就是基于高斯分布的。

（2）伯努利分布

伯努利分布又叫做两点分布或者0-1分布，是一个离散型概率分布，若伯努利实验成功，则伯努利随机变

量取值为1，如果失败，则伯努利随机变量取值为0。并记成功的概率为，那么失败的概率就是，

所以得到其概率密度函数为

如果把伯努利分布写成指数分布族，形式如下

对比指数分布族，有

Logistic回归就是基于伯努利分布的，之前的Sigmoid函数，现在我们就可以知道它是如何来的了。如下

如果

那么叫做正则响应函数，而叫做正则关联函数。

（3）泊松分布

泊松分布是一种离散型概率分布，其随机变量只能取非负整数值0，1，2，... 且其概率密度函数为

其中参数是泊松分布的均值，也是泊松分布的方差，表示单位时间内随机事件的平均发生率。在实际

的实例中，近似服从泊松分布的事件有：某电话交换台收到的呼叫，某个网站的点击量，来到某个公共

汽车站的乘客，某放射性物质发射出的粒子，显微镜下某区域内的白血球等计数问题。

泊松分布的内容：http://zh.wikipedia.org/wiki/%E6%B3%8A%E6%9D%BE%E5%88%86%E4%BD%88

关于概率论中的分布主要介绍这几个，其中还有很多分布都属于指数分布族，比如伽马分布，指数分布，多

元高斯分布，Beta分布，Dirichlet分布，Wishart分布等等。根据这些分布的概率密度函数可以建立相

应的模型，这些都是广义线性模型的一个实例。

广义线性模型逻辑回归与softmax的推导相关推荐

广义线性模型——逻辑回归（logistic regression）
广义线性模型:使用单调可微的联系函数g(.),令hΘ(x) = g(ΘTx) logistic regression用来干什么? 完成分类任务. 为什么要用logistic regression? 如 ...
softmax分类器_[ML] 逻辑回归与 Softmax 回归
Logistic Regression (LR) 译为逻辑回归,但实际上这是一种分类模型(二分类或多分类).下面精要地把模型中的核心概念.推导梳理一下.本文主要内容如下: 逻辑回归的概率模型逻辑回归 ...
R语言广义线性模型泊松回归（Poisson Regression）模型
R语言广义线性模型泊松回归(Poisson Regression)模型试想一下,你现在就站在一个人流密集的马路旁,打算收集闯红灯的人群情况(?).首先,利用秒表和计数器,一分钟过去了,有5个人闯红灯 ...
R语言广义线性模型Logistic回归模型亚组分析及森林图绘制
R语言广义线性模型Logistic回归模型亚组分析及森林图绘制 #Logistic回归案例 6 亚组分析森林图 library(forestplot) rs_forest <- read.csv ...
Logistic and Softmax Regression (逻辑回归和Softmax回归)
1．简介逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系.逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函 ...
大白话5分钟带你走进人工智能-第二十节逻辑回归和Softmax多分类问题(5)
大白话5分钟带你走进人工智能-第二十节逻辑回归和Softmax多分类问题(5) 上一节中,我们讲 ...
R语言广义线性模型Logistic回归案例代码
R语言广义线性模型Logistic回归案例代码在实际应用中,Logistic模型主要有三大用途: 1)寻找危险因素,找到某些影响因变量的"坏因素",一般可以通过优势比发现危险因素 ...
R语言广义线性模型Logistic回归模型列线图分析（nomogram）
R语言广义线性模型Logistic回归模型列线图分析(nomogram) 我们来看图说话: gist是一种胃肠道间质瘤,作者构建了无复发生存率的logistic回归模型. 并构建了如下的列线图或者no ...
R语言广义线性模型Logistic回归模型C Statistics计算
R语言广义线性模型Logistic回归模型C Statistics计算区分能力指的是回归模型区分有病/无病.有效/无效.死亡/存活等结局的预测能力.比如,现有100个人,50个确定患病,50个确定不 ...
Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归参考文档: handson-ml import numpy as np from matplotlib import ...

广义线性模型逻辑回归与softmax的推导

广义线性模型逻辑回归与softmax的推导相关推荐

最新文章

热门文章

广义线性模型 逻辑回归与softmax的推导

广义线性模型 逻辑回归与softmax的推导相关推荐

最新文章

热门文章

广义线性模型逻辑回归与softmax的推导

广义线性模型逻辑回归与softmax的推导相关推荐