文章目录

前言
一、决策面与判别函数
二、分类器——线性分类器
- 1.特点
- 2.线性判别函数
- 3.增广变换
- 4.线性分类器设计步骤
- 5.实例——垂直平分分类器与Fisher投影准则
总结

前言

这是大三学习模式识别的笔记第一弹，有错误欢迎指出，不胜感激

一、决策面与判别函数

什么是决策面？
在特征空间中，将不同种类样本分开的决策边界称为决策面。举个例子，在二维平面，一条直线即可成为一个决策面，它所划分的两个区域即成为两个特征子空间。

什么是判别函数？
用数学形式表示的决策面即为判别函数。上面的例子中，y=ax+b即可成为判别函数，但往往写成ax+by+c=0，ax+by+c>0是一类，ax+by+c<0是另一类。类似的可以推广。

二、分类器——线性分类器

1.特点

线性分类器：对于两类的分类问题，采用线性判别函数划分特征空间（即采用直线或平面等将两类样本在特征空间中的区域划分开），这样的分类器是线性分类器。

线性分类器特点：特征空间一分为二，适合于解决两类的分类问题，即二分类问题。

线性分类器能不能解决多分类问题呢？答案是肯定的。多分类问题可以分为多个二分类问题，至于怎样分成多个二分类问题，在机器学习中介绍了最简单的两种方式：OvO与OvR,此处不做详细介绍。

2.线性判别函数

我们往往用向量的形式表示判别函数，于是判别函数表示为

其中w为权向量，w0为阈值。

3.增广变换

对原特征向量X做增广变换（记作)，权向量也做增广变换（记作y）如下所示

则判别函数表示为

増广变换的特点：
特征维数增加了一维
样本向量实际还是位于原D维子空间中
样本之间的欧氏距离保持不变
增广变换后的决策面是过原点的超平面

4.线性分类器设计步骤

1.给定类别已知的样本集——训练集
2.选择一个准则函数J，其值反应分类器优劣
3.采用最优解的方法求准则函数J的极值解，从而获得权向量和阈值权

5.实例——垂直平分分类器与Fisher投影准则

1.垂直平分分类器
垂直平分分类器设计思路：基于两类样本均值点作垂直平分线。
垂直平分分类器等价的最小距离决策规则为：
对于未知样本x，若d1(x) <d2(x) ，则x决策为ω1类若d1(x) >d2(x) ，则x决策为ω2类。

故而垂直平分分类器又叫最小距离分类器。

步骤：
1）先求均值向量m1和m2
2）利用垂直几何关系，设权向量

则直线方程为

3)再利用平分几何关系，中点x0在直线上

解得阈值向量

对于未知样本x，若g(x) > 0，则x决策为ω1类若g(x) < 0，则x决策为ω2类

垂直平分分类器（最小距离分类器）的主要特点：
解决二分类问题的线性分类器
原则上对样本集无特殊要求
未采用准则函数求极值解（非最佳决策）
算法最简单，分类器设计最容易

2.Fisher准则
设计思路：通过投影对高维分类问题降维，Fisher将高维特征空间的样本投影到一维直线

Fisher投影准则的物理含义：
投影后异类样本尽量远离，投影后同类样本尽量靠近

在原特征空间中

在投影后的一维空间中

化简后为

采用Lagrange乘子法求Fisher准则函数的极值（具体做法等我啥时候学会了再说吧）

Fisher投影的特点
解决两类问题的线性投影
原则上对样本集无特殊要求（Sw矩阵可逆）
采用Fisher投影准则函数求极值解（最佳决策
分类器设计较容易

总结

简要的总结了一下线性分类器

模式识别学习笔记——1（线性分类器）相关推荐

模式识别学习笔记（1）——基本概念
模式识别学习笔记--绪论一.从数据集D中产生训练集S和测试集T,主要有以下方法: --hold-out(留出法) --cross-validation(交叉验证法) --bootstrapping( ...
cs231n笔记：线性分类器
cs231n线性分类器学习笔记,非完全翻译,根据自己的学习情况总结出的内容: 线性分类本节介绍线性分类器,该方法可以自然延伸到神经网络和卷积神经网络中,这类方法主要有两部分组成,一个是评分函数(sc ...
XY的模式识别学习笔记-最小平方误差准则分类 MSE
最小平方误差准则分类 MSE 最小平方误差准则分类定义简单例题及Matlab代码实现大三数学狗,记录一下学习过程. 最小平方误差准则分类定义对线性不可分的样本集,不等式组 a T y i & ...
模式识别学习笔记（11）——线性判别函数
线性判别函数 1.1 用于分类的判别函数的参数形式已知,直接从样本来估计判别函数的参数. 优势:不需要有关概率密度函数的确切的参数形式.因此,属于无参数估计. 利用样本直接设计分类器 1.方法分类: ...
模式识别学习笔记（一）模式识别初认识
这是本人第一次写博客,把学到的东西以及自己的理解用类似于学习笔记的形式表达出来.如果有不妥的地方,希望大家指正.谢谢! 一.模式识别的定义关于模式识别(pattern recognition)的定义 ...
模式识别学习笔记-lecture2-统计判别1
作为统计判别问题的模式分类模式识别的目的就是要确定某一个给定的模式样本属于哪一类输入:被识别对象的特征向量输出:被识别样本的类别贝叶斯判别原则两类模式集的分类目的:要确定xxx是属于ω1\ ...
模式识别学习笔记（3）——高斯概率密度
概率密度估计方法参数法:只需将均值和协方差矩阵保存下来,就可知道其分布. 半参数法:GM通过解析求解:期望最大化是极大似然估计的特例,多次迭代才能求得高斯密度函数牢记密度函数公式!!! 把协方差 ...
TensorFlow 深度学习笔记从线性分类器到深度神经网络
转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star,有问题可以到Issue区讨论官方教程地址视频/字幕下载 L ...
模式识别学习笔记——第2章统计学习方法-2.5 正态分布时的统计决策
要学习正态分布有关的统计决策,正态分布相关的知识肯定是必不可少的!!!对于大多数同学来说,一维的正态分布应该是没什么问题,但是一旦涉及多维的正态分布,立刻就傻眼了.书本上对正态分布和性质的回顾,只能说 ...
模式识别学习笔记（1）概率论基础知识
大学的时候,我的<概率论和数理统计>这门课一共挂过3次,而且我记得最后一次考过的时候刚刚及格,只有60分.你可以想象我的<概率论>这门课学的是有多差了.后来,我工作以后,在学习 ...

模式识别学习笔记——1（线性分类器）