线性判别分析可用于处理二分类问题，其过程是寻找一个最佳的投影方向，使得样本点在该方向上的投影符合类内小、类间大的思想（“低耦合，高内聚”），具体指的是类内的方差之和小，类间的均值之差大。

1 、数据

2 目标函数

2.1 均值&方差

——>这个是两个类放到一块的数据集的均值和方差

2.2 目标函数

定义目标函数

2.2.1 分子

分子是类间均值的距离（中心点之间的距离），越大表示类“分得越快”

2.2.2 分母

分母是两个类方差的和，越小表示每个类“内部越紧”

先看S1

S2 同理，所以有：

2.2.3 目标函数整体

结合2.2.1和2.2.2，我们有：

极大化J(w)就可以使得类内的方差之和小，类间的均值之差大。

3 线性判别分析的求解

为了方便起见，我们令：

于是

对J(w)关于w求导数：

参考内容：机器学习-白板推导系列笔记（四）-线性分类_scu-liu的博客-CSDN博客

机器学习笔记：线性判别分析（Fisher）相关推荐

【机器学习】机器学习之线性判别分析(LDA)
目录一.线性判别分析介绍二.线性判别分析原理 1. 类内散度矩阵(within-class scatter matrix) 2. 类间散度矩阵(between-class scatter matr ...
Fisher线性判别分析Fisher Linear Distrimination
Fisher线性判别分析是一种线性分类方法,它的主要思想是:是类内的方差小,类均值之间相差比较大.(类间大,类内小) 以两个类的分类为例: 将两个类由在x1,x2上投影到向量u 上,这样由二维转到了一 ...
线性分类（二）-- 线性判别分析 LDA
在机器学习领域,LDA是两个常用模型的简称:线性判别分析(Linear Discriminant Analysis) 和隐含狄利克雷分布(Latent Dirichlet Allocation).在自 ...
机器学习】LDA线性判别分析
[机器学习]LDA线性判别分析 1. LDA的基本思想 2. LDA求解方法 3. 将LDA推广到多分类 4. LDA算法流程 5. LDA和PCA对比 [附录1]瑞利商与广义瑞利商线性判别分析 ( ...
Fisher线性判别分析原理解析及其Python程序实现两例
一.Fisher线性判别分析原理解析与算法描述 Fisher:1890-1962, 英国数学家,生物学家,现代统计学奠基人之一,证明了孟德尔的遗传律符合达尔文的进化论. Fisher线性判别分析(Li ...
机器学习入门学习笔记：（2.4）线性判别分析理论推导
LDA 线性判别分析(Linear Discriminant Analysis, 简称LDA),最早由Fisher提出,也叫"Fisher判别分析". 线性判别分析的思想: ...
【基础机器学习算法原理与实现】使用感知器算法LDA、最小二乘法LSM、Fisher线性判别分析与KNN算法实现鸢尾花数据集的二分类问题
本文设计并实现了PerceptronLA.PseudoIA.LeastSM.LinearDA.KNN等五个算法类,以及DataProcessor的数据处理类.对感知器算法LDA.最小二乘法LSM的伪逆 ...
线性判别分析（LDA）与Fisher判别分析（FDA）降维原理
在故障诊断中,我们常常会面对大量的且维数很高的数组,通过我们需要先对数据集进行划分及预处理,而预处理阶段极为重要的一步就是对数据进行降维特征提取,通过某种数学变换将原始高维空间转变成一个低维的子空间. ...
机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)
转:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 版权声明: 本文由L ...

机器学习笔记：线性判别分析（Fisher）