Fisher 线性分类器--转

原文地址：http://blog.csdn.net/htyang725/article/details/6571550

Fisher 线性分类器由R.A.Fisher在1936年提出，至今都有很大的研究意义，下面介绍Fisher分类器的Fisher准则函数

Fisher准则函数

在模式识别的分类算法中，大概可以分为两类，一种是基于贝叶斯理论的分类器，该类型分类器也称为参数判别方法，根据是基于贝叶斯理论的分类器必须根据所提供的样本数据求出先验概率和类概率密度函数的类型和参数；另一种是非参数判别方法，它倾向于由所提供样本数据直接求出在某一准则函数下的最优参数，这种方法必须由分类器设计者首先确定准则函数，并根据样本数据和该函数最优的原理求出函数的参数。基于贝叶斯理论的分类器对于设计者来说比较死板和原则，它必须知道类概率密度函数和先验概率才能估算出判别函数，但是实际上样本数据的类概率密度函数的类型和参数都是不知道的，这给参数判别方法带来了麻烦；而非参数方法的优点在于，当设计者设计好准则函数之后，便可用样本数据优化分类器参数，难点在于准则函数的设计，因此，两种方法各有千秋，互为补充！

设样本d维特征空间中描述，则两类别问题中线性判别函数的一般形式可表示成

，其中WT表示垂直于超平面的法向量，在二维的情况下，便是判别直线的法向量，W0称为阈权值，它只决定超平面在空间上的上下或者左右平移的位置。

在使用线性分类器时，样本的分类由其判别函数值决定，而每个样本的判别函数值是其各分量的线性加权和再加上一阈值w₀。如果我们只考虑各分量的线性加权和，则它是各样本向量与向量W的向量点积。如果向量W的幅度为单位长度，则线性加权和又可看作各样本向量在向量W上的投影。显然样本集中向量投影的分布情况与所选择的W向量有关。如下图：

图1

红色跟蓝色分别为两类样本，显然，从分类的角度来看，W1要比W2要好，因此，Fisher准则函数的基本思路是向量W的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。

为了给出Fisher准则函数的数学定义，我们必须定义一些基本参量，如下：

1 样本在d维特征空间的一些描述量。

　　(1) 各类样本均值向量m_i

(2) 样本类内离散度矩阵S_i与总类内离散度矩阵S_w

注释：类内离散矩阵S_i在形式上与协方差矩阵很相似，但协方差矩阵是一种期望值，而类内离散矩阵只是表示有限个样本在空间分布的离散程度

2 在一维Y空间

　　(1) 各类样本均值

(2) 样本类内离散度和总类内离散度

在定义了上述一系列描述量后，可以用这些量给出Fisher准则的函数形式。根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：

显然，准则函数的函数值跟总类内离散度成反比，跟样本差值的均方成正比，也就说，两类样本的均值相差越大，函数值越大，反之，则越小，类内离散度越小，函数值越大，反之则越小。同一类的样本，离散度应该要小。

转载于:https://www.cnblogs.com/davidwang456/articles/5586220.html

Fisher 线性分类器--转相关推荐

机器学习之基于Fisher线性分类器实现多类人脸的识别
基于 ORL 人脸库,基于 Fisher 线性分类器实现多类人脸的识别问题. 本次实验相比起之前的二分类人脸识别问题,复杂很多.而且程序的识别效果并不好,应该是程序本身的问题,各位路过的大佬仅当做参考 ...
【人工智能】Fisher 线性分类器的设计与实现（QDU）
[人工智能]Astar算法求解8数码问题(QDU) [人工智能]利用α-β搜索的博弈树算法编写一字棋游戏(QDU) [人工智能]Fisher 线性分类器的设计与实现(QDU) [人工智能]感知器算法的 ...
机器学习之Fisher线性分类器实现样本分类
本次实验是本科阶段人工智能实验课的一个实验,当时划水没有仔细做,现在回来再实践一下. 1.Fisher分类器的基本原理若把样本的多维特征空间的点投影到一条直线上,就能把特征空间压缩成一维.那么关键 ...
Fisher线性分类器和贝叶斯决策
Fisher的原理其实就是将所有的样本投影到一个一维的线性空间,然后做分类. 第一步是求解最优的投影方向. 原理推导可能复杂些,但是根据结果的代码实现还是很容易的. 完整的代码: Fisher分类器 ...
Fisher线性判别分析原理解析及其Python程序实现两例
一.Fisher线性判别分析原理解析与算法描述 Fisher:1890-1962, 英国数学家,生物学家,现代统计学奠基人之一,证明了孟德尔的遗传律符合达尔文的进化论. Fisher线性判别分析(Li ...
基于fisher线性判别法的分类器设计
0.引言说明这篇文章实际上是楼主上的模式识别课程的课堂报告,楼主偷懒把东西直接贴出来了.选择fisher判别法的原因主要是想学习一下这个方法,这个方法属于线性判别法,操作起来和lda判别法近乎没啥区 ...
matlab fisher检验,FISHER线性判别MATLAB实现.doc
FISHER线性判别MATLAB实现 Fisher线性判别上机实验报告班级: 学号: 姓名: 算法描述 Fisher线性判别分析的基本思想:选择一个投影方向(线性变换,线性组合),将高维问题降低到一 ...
Python 分类问题研究-Fisher线性判别
[实验目的] 1．掌握常见机器学习分类模型思想.算法,包括Fisher线性判别.KNN.朴素贝叶斯.Logistic回归.决策树等: 2．掌握Python编程实现分类问题,模型评价指标.计时功能.保存 ...
Fisher线性判别
Fisher线性判别一.算法介绍 1.背景: 在应用统计方法解决模式识别问题时,一再碰到的问题之一就是维度问题,在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通.降低维度有时会成为处理 ...

Fisher 线性分类器--转

Fisher 线性分类器--转相关推荐

最新文章

热门文章