广义线性模型(GLM, Generalized Linear Model)

引言：通过高斯模型得到最小二乘法(线性回归)，即：

通过伯努利模型得到逻辑回归，即：

这些模型都可以通过广义线性模型得到。广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。

广义线性模型

广义线性模型：广义线性模型是基于指数分布族(Exponential Family)，而指数分布族的原型如下：

其中，η是自然参数(Natural Parameter)，T(y)为充分统计量(Sufficient Statistic)，通常T(y)=y。

实际上，许多分布(如，高斯分布、指数分布、泊松分布、伽马分布灯)都属于指数分布族。所以，线性回归、逻辑回归等都是广义线性模型的特例，实际上，性分布中，y服从高斯分布那么广义线性模型为线性回归，y服从伯努利分布为逻辑回归。

在使用广义线性模型构建其他模型之前，首先有三个假设：

(1) y|x; θ~ExpFamily；

(2) 给定x，目标是输出期望E[T(y)|x]，得到h(x)= E[T(y)|x]；

(3) η与x的关系是线性的，即：

常见概率模型由广义线性模型的推导

(1) 高斯模型

高斯分布可以表示为：

高斯模型的自然参数与均值成线性分布，所以

(2) 伯努利模型

伯努利模型可以表示为：

其中，b(y)=1。

从而得到逻辑回归模型。带入a(η)可以得到：

转载于:https://www.cnblogs.com/hgl0417/p/6244702.html

广义线性模型(GLM, Generalized Linear Model)相关推荐

广义线性模型（Generalized Linear Model）之二：Logistic回归
广义线性模型(Generalized Linear Model)之二:Logistic回归一.引入:多元线性回归模型二.Logistic回归模型三.非条件logistic回归模型 (一)介绍 ( ...
广义线性模型（Generalized Linear Model）
广义线性模型 1. 广义线性模型(Generalized Linear Model) 1.1 指数分布族 1.2 广义线性模型建模(三个假设) 2. 线性回归推导 2.1 Gaussian 分布的指数 ...
指数分布族函数与广义线性模型（Generalized Linear Models，GLM）
目录 1 综述 2 指数分布族 3 广义线性模型 3.1 定义 3.2 为什么引入GLM 3.3 连接函数的获取 4 常见连接函数求解及对应回归 4.1 伯努利分布 > Logistics回归 ...
R语言广义线性模型函数GLM、广义线性模型（Generalized linear models）、GLM函数的语法形式、glm模型常用函数、常用连接函数、逻辑回归、泊松回归、系数解读、过散度分析
R语言广义线性模型函数GLM.广义线性模型(Generalized linear models).GLM函数的语法形式.glm模型常用函数.常用连接函数.逻辑回归.泊松回归.系数解读.过散度分析目录
广义线性模型（Generalized Linear Models, GLM）与线性回归、逻辑回归的关系
线性回归和逻辑回归都是广义线性模型的特例. 1 指数分布族如果一个分布可以用如下公式表达,那么这个分布就属于指数分布族. 这是<数理统计>课本中的相关定义,大多数利用的定义如下(y不是一 ...
广义线性模型GLM、GLMM、LMM、MLM、GMM、GEE、广义线性模型GLM和广义线性混合模型的GLMM区别
R语言广义线性模型GLM.GLMM.LMM.MLM.GMM.GEE.广义线性模型GLM和广义线性混合模型的GLMM区别目录
c++ error函数_R语言中广义线性模型(GLM)中的分布和连接函数分析
原文链接:http://tecdat.cn/?p=14874 通常,GLM的连接函数可能比分布更重要.为了说明,考虑以下数据集,其中包含5个观察值 x = c(1,2,3,4,5)y = c(1,2, ...
广义线性模型(Generalized Linear Model)——机器学习
零.前言对于条件分布(y|x;θ),对于线性回归模型有,而对分类问题有.其实这些分布均是广义线性模型(GLM)的特殊情况. 我们通过定义广义线性模型,可以据此求出拟合函数h(x) 一.指数分布族(E ...
广义线性模型（GLM）
广义线性模型(generalized linear model, GLM)是简单最小二乘回归(OLS)的扩展,在OLS的假设中,响应变量是连续数值数据且服从正态分布,而且响应变量期望值与预测变量之间的 ...
机器学习（二）——广义线性模型、生成学习算法
http://antkillerfarm.github.io/ 逻辑回归(续) 注:Ronald Aylmer Fisher,1890-1962,英国人,毕业于剑桥大学.英国皇家学会会员.尽管他被称作 ...

广义线性模型(GLM, Generalized Linear Model)

广义线性模型(GLM, Generalized Linear Model)相关推荐

最新文章

热门文章