线性回归和逻辑回归都是广义线性模型的特例。

1 指数分布族

如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族。

这是《数理统计》课本中的相关定义，大多数利用的定义如下（y不是一个变量，是一个群）：

$p(y ; \eta)=b(y) \exp \left(\eta^{T} T(y)-a(\eta)\right)$ (1)

上述公式与《数理统计》课本中的公式，含义一样，在具体的表示方面可能有细微差别，下面讨论均针对公式1展开。

在上述情况下，当 $T_{j}\left(x_{1}, x_{2}, \ldots x_{n}\right), \quad h\left(x_{1}, x_{2}, \ldots x_{n}\right)$ 与 $C(\theta)$ 确定后，就确定了指数数分布族中的一种分布模型，以 $\theta_{1}, \theta_{2}, \ldots \theta_{n}$ 为参数的分布模型。

其实，大多数的概率分布都属于指数分布族：

伯努利分布（Bernoulli）：对 0、1 问题进行建模；

二项分布（Multinomial）：对 K 个离散结果的事件建模；

泊松分布（Poisson）：对计数过程进行建模，比如网站访问量的计数问题，放射性衰变的数目，商店顾客数量等问题；

伽马分布（gamma）与指数分布（exponential）：对有间隔的正数进行建模，比如公交车的到站时间问题；

β 分布：对小数建模；

Dirichlet 分布：对概率分布进建模；

Wishart 分布：协方差矩阵的分布；

高斯分布（Gaussian）

2 指数分布簇-广义线性模型-回归分析

广义线性模型是在指数分布簇上做出相关假设得出的，在指数分布簇（1）的基础上，给出三条假设：

从线性回归、Logistic回归(分类算法)分析，广义线性模型是怎么推到和应用到回归【线性回归】和分类【Logistic】问题。

回顾：

线性回归：

然后给出损失函数，对损失函数最值化处理求解，得到w，进而得到最终拟合出的线性回归曲线。

Logistic回归[分类算法]：

$P(y=1 | x)=\pi(x)=\frac{1}{1+e^{-g(x)}}$

其中：

$g(x)=w_{0}+w_{1} x_{1}+\ldots+w_{n} x_{n}$

加了一个sigmoid函数，通过sigmoid函数，将最终结果，归到0-1范围内，即最终分类概率，求解w的方法同上。

对于线性回归和逻辑回归实际上都可以看作是一个 $(y | x ; \theta)$ 的问题，在参数 $\theta$ 固定，给定x情况下，y服从某种概率分布（指数分布簇）。

线性回归推到如下：

对概率作出假设， $y | x, \theta \sim N\left(u, \sigma^{2}\right)$ （1，假设服从正态分布指数分布），假设 $h_{\theta}(x)=E[y | x, \theta]$ （2）

Logistic推导如下：

广义线性模型GLM是通过假设一个概率分布并将其化成指数分布族形式，从而得到不同的模型。

三者之间的关系：广义线性模型可以解释线性回归构建的模型，广义线性模型中的假设是从指数分布簇出发的。

参考文献

[1]https://blog.csdn.net/weixin_37140379/article/details/82289704

[2]https://fighterhit.oschina.io/2017/12/24/machine_learning_notes/%E4%BB%8E%E5%B9%BF%E4%B9%89%E7%BA%BF%E6%80%A7%E6%A8%A1%E5%9E%8B%E7%90%86%E8%A7%A3%E9%80%BB%E8%BE%91%E5%9B%9E%E5%BD%92/

[3] https://www.cnblogs.com/zhangyuhang3/p/6873339.html

广义线性模型（Generalized Linear Models, GLM）与线性回归、逻辑回归的关系相关推荐

系统学习机器学习之线性判别式（三）--广义线性模型(Generalized Linear Models)
转自:https://www.cnblogs.com/czdbest/p/5769326.html 在线性回归问题中,我们假设,而在分类问题中,我们假设,它们都是广义线性模型的例子,而广义线性模型就是 ...
广义线性模型--Generalized Linear Models
监督学习问题: 1.线性回归模型: 适用于自变量X和因变量Y为线性关系 2.广义线性模型: 对于输入空间一个区域改变会影响所有其他区域的问题,解决为:把输入空间划分成若干个区域,然后对每个区域用不同的 ...
广义线性模型(Generalized Linear Model)——机器学习
零.前言对于条件分布(y|x;θ),对于线性回归模型有,而对分类问题有.其实这些分布均是广义线性模型(GLM)的特殊情况. 我们通过定义广义线性模型,可以据此求出拟合函数h(x) 一.指数分布族(E ...
指数分布族函数与广义线性模型（Generalized Linear Models，GLM）
目录 1 综述 2 指数分布族 3 广义线性模型 3.1 定义 3.2 为什么引入GLM 3.3 连接函数的获取 4 常见连接函数求解及对应回归 4.1 伯努利分布 > Logistics回归 ...
R语言广义线性模型函数GLM、广义线性模型（Generalized linear models）、GLM函数的语法形式、glm模型常用函数、常用连接函数、逻辑回归、泊松回归、系数解读、过散度分析
R语言广义线性模型函数GLM.广义线性模型(Generalized linear models).GLM函数的语法形式.glm模型常用函数.常用连接函数.逻辑回归.泊松回归.系数解读.过散度分析目录
scikit-learn学习笔记（三）Generalized Linear Models ( 广义线性模型 )
Generalized Linear Models ( 广义线性模型 ) 以下是一组用于回归的方法,其中目标值预期是输入变量的线性组合.在数学概念中,如果是预测值. 在整个模块中,我们指定向量 ...
文献学习(part25)--Regularization Paths for Generalized Linear Models via Coordinate Descent
学习笔记,仅供参考,有错必究文章目录 Regularization Paths for Generalized Linear Models via Coordinate Descent 摘要简介 ...
线性回归逻辑回归
分类就是到底是1类别还是0类别. 回归就是预测的不是一个类别的值,而是一个具体的值,具体借给你多少钱哪? 一.回归分析回归分析(英语:Regression Analysis)是一种统计学上分析数据的 ...
R语言使用glm函数构建逻辑回归模型（logistic）、使用subgroupAnalysis函数进行亚组分析并可视化森林图
R语言使用glm函数构建逻辑回归模型(logistic).使用subgroupAnalysis函数进行亚组分析并可视化森林图目录

广义线性模型（Generalized Linear Models, GLM）与线性回归、逻辑回归的关系

1 指数分布族

2 指数分布簇-广义线性模型-回归分析

参考文献

广义线性模型（Generalized Linear Models, GLM）与线性回归、逻辑回归的关系相关推荐

最新文章

热门文章