小议费雪线性判别（Fisher Linear Discriminant Analysis）

fisher 判决方式是监督学习，在新样本加入之前，已经有了原样本。

原样本是训练集，训练的目的是要分类，也就是要找到分类线。一刀砍成两半！

当样本集确定的时候，分类的关键就在于如何砍下这一刀！

若以黑色的来划分，很明显不合理，以灰色的来划分，才是看上去合理的

1.先确定砍的方向

关键在于如何找到投影的向量u，与u的长度无关。只看方向

找到样本点的中心均值m1，m2，以及在向量u上的投影的m1~，m2~。

因为u的方向与样本点都有关，所以需要考虑一个含有所有样本点的表达式

不妨算出离差阵

算出类内离差矩阵，两个都要求出来，并求和

并且投影的离差阵

根据聚类的理想情况，类内距离小，类间距离大，所以就用类间去处理类内，我们现在的变量是向量u，我们就对u求导，算出max存在的时后u的条件。

为了方便化简，引入一个参数不要以为下面除以是向量，（1*2）*（2*2）（2*1）=1 维度变成1，这是一个常数。

当求导公式

分子为0的时候，推出

所以

而且是（1*2）*（2*1）等于1，也是一个常数

到此为止，u的方向已经确定了

2.具体切哪一个点。

a，切

切投影均值的终点

切贝叶斯概率的比例点

方向和具体点均已找到，分析完毕

小议费雪线性判别（Fisher Linear Discriminant Analysis）相关推荐

线性判别分析（Linear Discriminant Analysis）（一）
线性判别分析(Linear Discriminant Analysis)(一) 1. 问题之前我们讨论的PCA.ICA也好,对样本数据来言,可以是没有类别标签y的.回想我们做回归时,如果特征太 ...
线性判别分析LDA(linear discriminant analysis)与二次判别分析QDA(quadratic discriminant analysis)
文章目录什么是LDA LDA与PCA 相同不同 LDA python实现使用sklearn实现LDA 再进一步QDA QDA数学原理 QDA与LDA比较 Source: Python Machi ...
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
LDA算法入门一． LDA算法概述: 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discrimin ...
线性判别分析(Linear Discriminant Analysis, LDA）(含类内散度矩阵类间散度矩阵全局散度矩阵推导
LDA算法概述: 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是 ...
机器学习（三十一）——Linear Discriminant Analysis
Linear Discriminant Analysis 在<机器学习(十六)>中,我们已经讨论了一个LDA,这里我们来看看另一个LDA. Linear Discriminant Anal ...
机器学习：Linear Discriminant Analysis（过程详解+实例代码MATLAB实现
目录 LDA概念线性判别分析(LDA)-二分类 LDA二分类过程举个例子线性判别分析-多分类 LDA多分类过程 Experiment 3: Linear Discriminant Analysi ...
【Learning Notes】PLDA（Probabilistic Linear Discriminant Analysis）
PLDA 是一个概率生成模型,最初是为解决人脸识别和验证问题而被提出[3,5],之后也被广泛应用到声纹识别等模式识别任务中.学者从不同的动机出发,提出了多种 PLDA 算法,文献[2] 在统一的框架下 ...
邻域线性判别《Neighborhood linear discriminant analysis》
模式识别与机器学习老师留了作业说是让找一篇线性判别的论文,所以就记录一下论文(<Neighborhood linear discriminant analysis>)吧,虽然只是一些翻译. ...
机器学习算法系列（十）-线性判别分析算法（一）（Linear Discriminant Analysis Algorithm）
阅读本文需要的背景知识点:拉格朗日乘数法.一丢丢编程知识一.引言前面学习了一种用回归的方式来做分类的算法--对数几率回归算法,下面再来学习另一种分类算法--线性判别分析算法1(Linear D ...

小议费雪线性判别（Fisher Linear Discriminant Analysis）

小议费雪线性判别（Fisher Linear Discriminant Analysis）相关推荐

最新文章

热门文章