广义线性模型--Generalized Linear Models
监督学习问题:
1、线性回归模型:
适用于自变量X和因变量Y为线性关系
2、广义线性模型:
对于输入空间一个区域改变会影响所有其他区域的问题,解决为:把输入空间划分成若干个区域,然后对每个区域用不同的多项式函数拟合
是为了克服线性回归模型的缺点出现的,是线性回归模型的推广。
首先自变量可以是离散的,也可以是连续的。离散的可以是0-1变量,也可以是多种取值的变量。
与线性回归模型相比较,有以下推广:
根据不同的数据,可以自由选择不同的模型。大家比较熟悉的Logit模型就是使用Logit联接、随机误差项服从二项分布得到模型。
回归的线性模型
![](/assets/blank.gif)
对于输入空间一个区域改变会影响所有其他区域的问题,解决为:把输入空间划分成若干个区域,然后对每个区域用不同的多项式函数拟合
Polynomial Curve Fitting
为神马不是差的绝对值?请看下面分解:
当我们寻找模型来拟合数据时,偏差是不可避免的存在的。对一个拟合良好的模型而言,这个偏差整体应该是符合正态分布的,
根据贝叶斯定理:P(h|D)=P(D|h)*P(h)/P(D)
![](/assets/blank.gif)
- 梯度减少的过程:
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
梯度下降法是按下面的流程进行的:
1)首先对x 赋值,这个值可以是随机的,也可以让x是一个全零的向量。
2)改变x 的值,使得f(x)按梯度下降的方向进行减少。
3)循环迭代步骤2,直到x的值变化到使得f(x) 在两次迭代之间的差值足够小,比如0.00000001,也就是说,直到两次迭代计算出来的f(x) 基本没有变化,则说明此时f(x) 已经达到局部最小值了。
- 靠近极小值时收敛速度减慢。
- 直线搜索时可能会产生一些问题。
- 可能会“之字形”地下降。
- 这个算法将会在很大的程度上被初始点的选择影响而陷入局部最小点
1、批量梯度下降的求解思路如下:
(1)将J(theta)对theta求偏导,得到每个theta对应的的梯度
(2)由于是要最小化风险函数,所以按每个参数theta的梯度负方向,来更新每个theta
(3)从上面公式可以注意到,它得到的是一个全局最优解,但是每迭代一步,都要用到训练集所有的数据,如果m很大,那么可想而知这种方法的迭代速度!!所以,这就引入了另外一种方法,随机梯度下降。
2、随机梯度下降的求解思路如下:
(1)上面的风险函数可以写成如下这种形式,损失函数对应的是训练集中每个样本的粒度,而上面批量梯度下降对应的是所有的训练样本:
(2)每个样本的损失函数,对theta求偏导得到对应梯度,来更新theta
(3)随机梯度下降是通过每个样本来迭代更新一次,如果样本量很大的情况(例如几十万),那么可能只用其中几万条或者几千条的样本,就已经将theta迭代到最优解了,对比上面的批量梯度下降,迭代一次需要用到十几万训练样本,一次迭代不可能最优,如果迭代10次的话就需要遍历训练样本10次。但是,SGD伴随的一个问题是噪音较BGD要多,使得SGD并不是每次迭代都向着整体最优化方向。
对于上面的linear regression问题,最优化问题对theta的分布是unimodal,即从图形上面看只有一个peak,所以梯度下降最终求得的是全局最优解。然而对于multimodal的问题,因为存在多个peak值,很有可能梯度下降的最终结果是局部最优。
![](/assets/blank.gif)
![](/assets/blank.gif)
- 增加训练数据集合
- 加入本书的"万金油" 贝叶斯方法
- 加入regularization。
Regularization
![](/assets/blank.gif)
Ordinary Least Squares
fits a linear model with coefficients W to minimize the residual sum of squares between the observed responses in the dataset, and the responses predicted by the linear approximation. Mathematically it solves a problem of the form:
![](/assets/blank.gif)
Ordinary Least Squares Complexity
Ridge Regression 岭回归
regression addresses some of the problems of Ordinary Least Squares by imposing a penalty on the size of coefficients. The ridge coefficients minimize a penalized residual sum of squares,
Here, is a complexity parameter that controls the amount of shrinkage: the larger the value of , the greater the amount of shrinkage and thus the coefficients become more robust to collinearity.
参数值和alpha的变化关系。
ax.set_color_cycle(['b','r','g','c','k','y','m'])
![](/assets/blank.gif)
Bayesian Regression
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
贝叶斯视角下的模型选择
给定x,对于t的预测可以用3.67来表示:
![](/assets/blank.gif)
Logistic regression
Logistic回归与多重线性回归实际上有很多相同之处,最大的区别就在于它们的因变量不同,可以归于同一个家族,即广义线性模型(generalizedlinear model)。
常规步骤
Regression问题的常规步骤为:
- 寻找h函数(即hypothesis);
- 构造J函数(损失函数);
- 想办法使得J函数最小并求得回归参数(θ)
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
构造损失函数J
Cost函数和J函数如下,它们是基于最大似然估计推导得到的。
下面详细说明推导的过程:
(1)式综合起来可以写成:
因为乘了一个负的系数-1/m,所以取J(θ)最小值时的θ为要求的最佳参数。
梯度下降法求的最小值
一个二维logistic regression的例子:
![](/assets/blank.gif)
总结-One-vs-all方法框架:
对于每一个类 i 训练一个逻辑回归模型的分类器h(i)θ(x),并且预测 y = i时的概率;
对于一个新的输入变量x, 分别对每一个类进行预测,取概率最大的那个类作为分类结果:
广义线性模型--Generalized Linear Models相关推荐
- 系统学习机器学习之线性判别式(三)--广义线性模型(Generalized Linear Models)
转自:https://www.cnblogs.com/czdbest/p/5769326.html 在线性回归问题中,我们假设,而在分类问题中,我们假设,它们都是广义线性模型的例子,而广义线性模型就是 ...
- 广义线性模型(Generalized Linear Model)——机器学习
零.前言 对于条件分布(y|x;θ),对于线性回归模型有,而对分类问题有.其实这些分布均是广义线性模型(GLM)的特殊情况. 我们通过定义广义线性模型,可以据此求出拟合函数h(x) 一.指数分布族(E ...
- R语言广义线性模型函数GLM、广义线性模型(Generalized linear models)、GLM函数的语法形式、glm模型常用函数、常用连接函数、逻辑回归、泊松回归、系数解读、过散度分析
R语言广义线性模型函数GLM.广义线性模型(Generalized linear models).GLM函数的语法形式.glm模型常用函数.常用连接函数.逻辑回归.泊松回归.系数解读.过散度分析 目录
- scikit-learn学习笔记(三)Generalized Linear Models ( 广义线性模型 )
Generalized Linear Models ( 广义线性模型 ) 以下是一组用于回归的方法,其中目标值预期是输入变量的线性组合.在数学概念中,如果 是预测值. 在整个模块中,我们指定向量 ...
- 指数分布族函数与广义线性模型(Generalized Linear Models,GLM)
目录 1 综述 2 指数分布族 3 广义线性模型 3.1 定义 3.2 为什么引入GLM 3.3 连接函数的获取 4 常见连接函数求解及对应回归 4.1 伯努利分布 > Logistics回归 ...
- 文献学习(part25)--Regularization Paths for Generalized Linear Models via Coordinate Descent
学习笔记,仅供参考,有错必究 文章目录 Regularization Paths for Generalized Linear Models via Coordinate Descent 摘要 简介 ...
- 广义线性模型(Generalized Linear Models, GLM)与线性回归、逻辑回归的关系
线性回归和逻辑回归都是广义线性模型的特例. 1 指数分布族 如果一个分布可以用如下公式表达,那么这个分布就属于指数分布族. 这是<数理统计>课本中的相关定义,大多数利用的定义如下(y不是一 ...
- Generalized Linear Models
作者:桂. 时间:2017-05-22 15:28:43 链接:http://www.cnblogs.com/xingshansi/p/6890048.html 前言 主要记录python工具包:s ...
- scikit-learn 学习笔记-- Generalized Linear Models (三)
Bayesian regression 前面介绍的线性模型都是从最小二乘,均方误差的角度去建立的,从最简单的最小二乘到带正则项的 lasso,ridge 等.而 Bayesian regression ...
最新文章
- flink sql实现interval join的图解
- ai圆角插件_【干货满满】AI软件技巧排版所需
- NGINX进程的基本操作和基础知识
- EasyUI的组件加载两次的问题
- 国足输韩国,柯洁很生气,后果很严重……
- mac系统vscode头文件not found
- 程序员到底是吃青春饭还要奋斗?那么行业前景又如何?
- maya linux 安装教程视频,教你怎样在 Archlinux 安装Maya7.01
- hub75点屏(32扫)
- 越努力越幸福—2015年度总结
- 碳纤维复合材料加固钢筋混凝土的极化作用
- 【华为路由器基本ACL过滤配置】
- kkFiewView代码分析(三)有关CAD文件的转换
- SNIPER python3.5环境配置成功记录
- Instruments 之 Energy Log
- 简单的手机蓝牙遥控智能小车
- EF和Dapper之争的关键
- SVN在Eclipse中的安装步骤以及使用方法和建立分支
- Java 处理那种无法解析的json数组
- 阿里巴巴python岗位_想到阿里巴巴从事Python吗?年薪300K不是梦!
热门文章
- python可视化界面
- 95后沪漂女孩深陷“狠”且“卷”职场,向上思维,永不过时!
- 985毕业,沪漂10年,月薪4w,我却活得一地鸡毛
- python输出换行
- 随机数函数rand()
- cola ui ajax,Cola-UI 文档中心
- sprintf 用法(sprintf_s)
- 从软件工程师到IT猎头:说说跳槽那点事
- 进入BeOS的花花世界 系列五
- 与() 、或(|)、异或(^) 、取反(~) 运算