LDA 线性判别分析模型

线性判别分析（Linear Discriminant Analysis，LDA）是一种可作为特征抽取的技术，可以提高数据分析过程中的计算效率，同时对于不适用于正则化的模型，它可以降低模型灾难带来的过拟合。

1、LDA 的概念与 PCA 区别与联系

1.PCA 试图在数据集中找到方差最大的正交主成分量的轴，而 LDA 的目标是发现可以最优化分类的特征子空间。LDA 和 PCA 都是可以降低数据集维度的线性转化技巧。
2.PCA 是一种无监督算法（不需要类标签的参与），而 LDA 是监督算法。
3.在图像识别某些情况下，如每个类别中只有少量样本使用 PCA 最为预处理工具的分类结果更佳。

下图解释了二分类 LDA 的概念，x 和点分别表示一个类别：

在 x 轴方向（LD1）通过线性判断，可以很好地将呈现正态分布的两个类分开。虽然沿 y 轴（LD2）方向的线性判别保持了数据集的较大的方差（与 PCA 相似），但是沿着此方向无法提供关于类别区分的任何信息，y 轴的这个情况也不是一个好的线性判定。

2、LDA 算法步骤

3、计算散步矩阵

4、在新特征子空间上选取线性判别算法

5、将样本映射到新的特征空间

LDA 线性判别分析模型相关推荐

经典分类：线性判别分析模型！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:小雨姑娘,康涅狄格大学,Datawhale成员这几天看了看SVM ...
python--LDA线性判别分析模型
以下内容笔记出自'跟着迪哥学python数据分析与机器学习实战',外加个人整理添加,仅供个人复习使用. 1. 导入数据 import numpy as np import pandas as pd d ...
机器学习算法（九）: 基于线性判别LDA模型的分类（基于LDA手写数字分类实践）
机器学习算法(九): 基于线性判别模型的分类 1.前言:LDA算法简介和应用 1.1.算法简介线性判别模型(LDA)在模式识别领域(比如人脸识别等图形图像识别领域)中有非常广泛的应用.LDA是一种监 ...
线性判别结合源码分析LDA原理
1. LDA的思想 LDA线性判别分析也是一种经典的降维方法,LDA是一种监督学习的降维技术,也就是说它的数据集的每个样本是有类别输出的.这点和PCA不同.PCA是不考虑样本类别输出的无监督降维技术. ...
可用于线性判别、聚类分析的R语言函数总结
一.判别分析判别分析是一种分类技术,其通过一个已知类别的"训练样本"来建立判别准则,并通过预测变量来为未知类别的数据进行分类.根据判别的模型分为线性判别和非线性判别,线性判别中根 ...
LAD线性判别模型简介及sklearn参数
本文LDA指线性判别模型,并非自然语言处理中的主题模型LDA. 1.LDA简介 LDA在模式识别领域(比如人脸识别等图形图像识别领域)中有非常广泛的应用.LDA是一种监督学习的降维技术,也就是说它的数 ...
线性判别准则与线性分类编程实践
一.线性判别分析 (一)简介线性判别分析(linear discriminant analysis,LDA)是对费舍尔的线性鉴别方法的归纳,这种方法使用统计学,模式识别和机器学习方法,试图找到两类物 ...
【数学建模】Matlab实现判别分析（线性判别和二次判别分析）
Matlab实现判别分析(线性判别和二次判别分析) 一.简介二.判别分析的方法 2.1 费歇(FISHER)判别思想 2.1 贝叶斯(BAYES)判别思想三.Matlab 实现判别分析 3.1 代 ...
R语言 Fisher线性判别
本人正在学习R语言,想利用这个平台记录自己一些自己的学习情况,方便以后查找,也想分享出来提供一些资料给同样学习R语言的同学们.(如果内容有错误,欢迎大家批评指正) Fisher线性判别主要用来根据样本 ...