线性判别分析(Linear Dicriminant Analysis)参数推导记录备忘

线性判别分析（LDA）投影降维的思想，以类内小、类间大（类似于软件工程中高内聚低耦合思想）的目标实现了对数据集进行分类的效果。

LDA的原始思想非常简单，在数据集平面（假如二维数据）上，找到一条直线，使所有数据点在该直线的投影点能够被一个中心点完全分离开且同类数据投影点尽可能集中，不同类数据投影点尽可能远离；这样就达到了分类的目的，可见，LDA还可以用于数据降维处理，但其降维性能有限，仅能从K维降至K-1维。

LDA算法的计算核心就是该直线向量的方向，推导计算办法也是像之前线性回归中参数W推导思路，找出目标函数，对目标函数求偏导得到最优解，之前线性回归中目标函数使用的损失函数，由于是回归所以损失函数非常好想到就是用预测值与真实值作差再平方构造，但在LDA算法中目标函数不是那么明显，考虑之前提到的线性判别分析以类内小、类间大为目标，那么可以考虑将目标函数构造为一个分式，分子为类间距离表达式，分母为类内方差，求该目标函数最大值时参数W的取值即可。

类间距离可以将两类数据点分别计算平均值，再对两平均值求差得到。

类内方差将某类中所有数据点与该类平均值求差的平方和除以该类数据点的个数得到。

详细推导过程见图：

* 最后得到了W的方向（而非具体的大小），因为在此我们只关心直线向量的方向。

对于此算法，仅需了解即可，由于LDA的局限性，现在基本不会使用。

线性判别分析(Linear Dicriminant Analysis)参数推导记录备忘相关推荐

R语言分类算法之线性判别分析(Linear Discriminant Analysis)
1.线性判别原理解析基本思想是"投影",即高纬度空间的点向低纬度空间投影,从而简化问题的处理.在原坐标系下,空间中的点可能很难被分开,如图8-1,当类别Ⅰ和类别Ⅱ中的样本点都投影 ...
线性判别分析(Linear Discriminant Analysis, LDA）(含类内散度矩阵类间散度矩阵全局散度矩阵推导
LDA算法概述: 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD),是 ...
线性判别分析(Linear Discriminant Analysis, LDA）算法分析
LDA算法入门一． LDA算法概述: 线性判别式分析(Linear Discriminant Analysis, LDA),也叫做Fisher线性判别(Fisher Linear Discrimin ...
西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis
文章目录 0. 前言 1. 线性判别分析参数求解方法如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言线性判别分析LDA的思想非常朴素:给定数据集,设法将样例投影 ...
深度学习模型中的参数数量（备忘）
原文地址:huay' blog/模型中的参数数量(备忘) 记录模型参数数量的计算方法最早使用 tensorflow 的时候没怎么注意这个问题: 后面高级 API 用的多了,有点忘记怎么计算模型的参数 ...
Log4qt使用记录备忘
Log4qt基于Qt4实现的第三方日志记录文件,存在很多版本,我直接在官网下载的09年的版本, 然后进行qt5适配. 官网源码:https://sourceforge.net/projects/log ...
COleSafeArray::PutElement记录备忘
语法 void PutElement(long* rgIndices,void* pvData ); 参数 rgIndices 指向数组的每个维度的索引数组的指针. pvData 指向要分配给数组的数 ...
EF 使用遇到过的错误记录备忘
1. is only supported for sorted input in LINQ to Entities The method :只支持排序输入实体LINQ 的方法是使用skip()时没 ...
武汉三首，记录备忘，写的不好，以后再改
第一首: 拜望武昌英烈间再登黄鹤谒先贤隐水洞中寻幽境泛舟东湖妙如仙第二首悲凉: 追随圣迹到武昌千年之后望长江摩肩接踵登黄鹤但见高楼列两厢滚滚长江依旧逝唯看神桥锁大江纵使李杜今犹在 ...

线性判别分析(Linear Dicriminant Analysis)参数推导记录备忘

线性判别分析(Linear Dicriminant Analysis)参数推导记录备忘相关推荐

最新文章

热门文章