线性模型小结

线性模型，顾名思义，就是使用将特征的线性组合得到的超平面划分特征空间的方法。简单的在二维空间中，线性模型就是一条直线，而在三维空间中，线性模型就是一个平面，它们都可以将所在空间划分为两部分。当有多个超平面的时候可以将空间划分为多个区域。

怎么得到线性模型？在PRML中将主要的方法划分为三种方式

1：discriminant function即判别函数法

主要途径是得到一个判别函数，通过函数来对样本空间进行划分。

2：使用贝叶斯理论求后验概率P(Ck|X)，由类条件概率和先验概率得到后验概率。generative models.

3：另一种方法也是求后验概率P(Ck|X)，但是并不是使用贝叶斯理论先求条件概率和先验概率来得到。而是直接构建后验概率的模型，然后通过训练集来优化该模型的参数，可以使用最大似然等方法来解决。Logistic regression. Iterative reweighted least squares.

本章的内容也是按照这个基本的结构来划分的：

一：判别函数方法

1：least squares for classification

最小二乘分类，最小错误率

2：Fisher’s linear discriminant

Fisher线性分类：样本在投影空间中的最大可分性

3：Perceptron algorithm

感知器算法：在样本线性可分的情况下能保证收敛，并且分类超平面结果不确定，取决于初始化权值。

二：概率产生模型（probabilistic generative models）

通过贝叶斯理论将后验概率表示为先验概率和类条件概率，得到Logistic函数的形式，然后通过最大似然估计来优化Logistic函数的参数。主要讨论了样本的类条件分布概率符合高斯分布情况，两类样本可以有相同的协方差矩阵，也可有不同的协方差矩阵，主要讨论前者。然后是讨论了离散特征的处理，以及用指数族来表示其通用形式。

三：概率区分模型

在二中的处理方式是一种间接的处理方式，另一种相对应的模型就是直接构建其后验概率模型，通过最大似然估计来优化其参数。

代表性的方法就是Logistic regression。关于权值的更新介绍了Iterative reweighted least squares方法来更新权值。

probit regression：使用probit activation function来对样本进行分类。

然后简单的介绍多类别情况的Logistic regression。Canonical link function是Logistic regression的统一表示形式，跟指数族类似。

四：拉普拉斯逼近（Laplace Approximation）

前面讲的很多模型都是针对高斯分布的，当样本不符合高斯分布的时候显然就不能再使用，所以该节介绍了一种使用高斯分布逼近非高斯分布的技术：Laplace Approximation。主要分为三步：找最大点，泰勒展开，归一化。

该节的另一个重点部分是从数学角度分析了模型选择问题：分析了过拟合产生的原因以及模型选择方法BIC（Bayesian Information Criterion）方法。

五：Bayesian Logistic Regression

将拉普拉斯逼近用于Logistic regression。

转载于:https://www.cnblogs.com/macula7/archive/2009/10/16/1960593.html

prml线性模型小结相关推荐

广义线性模型到底是个什么鬼？
以下文章内容摘自网络:说人话的统计学原标题:广义线性模型到底是个什么鬼? ❉说人话的统计学❉ 从逻辑回归模型开始,我们连续讲了好多集有些相似又特点各异的几种统计模型.它们有个统一的旗号,叫做「广义线 ...
【机器学习百科全书目录】PRML ESL MLAPP 西瓜书花书 RLAI 统计学习方法蒲公英书
文章目录机器学习百科全书目录 Pattern Recognition and Machine Learning The Elements of Statistical Learning (Secon ...
附下载|Python带你实践机器学习圣经PRML
新智元报道来源:Github.知乎编辑:白峰将 Bishop 大神的 PRML 称为机器学习圣经一点也不为过,该书系统地介绍了模式识别和机器学习领域内详细的概念与基础.书中有对概率论基础知 ...
线性回归之正则化线性模型
线性回归之正则化线性模型 Ridge Regression 岭回归 Lasso 回归 Elastic Net 弹性网络 Early stopping 1 Ridge Regression (岭回归,又 ...
预测分析：R语言实现2.8　小结
2.8 小结在本章,我们学习了线性回归,这是一种让我们能在有监督学习环境下拟合线性模型的方法,在这种环境下,我们有一些输入特征和一个数值型的输出.简单线性回归是对只有一个输入特征的情况的命名,而多元 ...
今天开始学模式识别与机器学习(PRML)，章节5.1，Neural Networks神经网络-前向网络。
今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML),章节5.1,Neural Networks神经网络-前向网络. 话说上一次写 ...
机器学习经典书籍小结
机器学习经典书籍小结转载本博客请注明链接:http://blog.csdn.net/xinzhangyanxiang/article/details/9069045 博客第一篇文章[1]是转载的,也 ...
概率视角下的线性模型：逻辑回归有解析解吗？
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP.神经网络我们知道,线性回归是比较简单的问题,它存在解析解,而它的变体逻辑回归(Logistic Reg ...
PRML(1)--绪论(上)多项式曲线拟合、概率论
PRML绪论 1.1 多项式曲线拟合 1.1.1 问题描述 1.1.2 最小化平方和误差 1.1.3 多项式阶数确定 1.1.4 有趣问题--高阶模型为什么效果不好 1.1.4 数据集规模对模型的影响 ...
GitHub标星6000+！Python带你实践机器学习圣经PRML
点击我爱计算机视觉标星,更快获取CVML新技术本文转载自新智元. 新智元报道来源:Github.知乎编辑:白峰 [导读]PRML是模式识别和机器学习领域的经典著作,出版于2007年.该书 ...

prml线性模型小结

线性模型小结

prml线性模型小结相关推荐

最新文章

热门文章