0. 前言

线性判别分析LDA的思想非常朴素：给定数据集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。在分类时，同样将样例投影到直线上，根据位置确定类别。

如下图所示（图源：机器学习）：

1. 线性判别分析参数求解方法

定义XiμiΣiX_i\ \mu_i\ \Sigma_iXi μi Σi分别为第iii类的样例集合、均值向量、协方差矩阵。

两类样本的中心在直线上的投影表示为：wTμiw^T\mu_iwTμi。

投影到直线上，两类样本的协方差表示为：wTΣiww^T\Sigma_iwwTΣiw。

使同类样本尽可能接近，最小化：wTΣ0w+wTΣ1ww^T\Sigma_0w+w^T\Sigma_1wwTΣ0w+wTΣ1w。

使异类样本尽可能远离，最大化：∥wTμ0−wTμ1∥22\left\|w^T\mu_0-w^T\mu_1\right\|_2^2∥∥wTμ0−wTμ1∥∥22。

则可得最大化目标：
J=∥wTμ0−wTμ1∥22wTΣ0w+wTΣ1w=wT(μ0−μ1)(μ0−μ1)TwwT(Σ0+Σ1)w\begin{aligned} J&=\frac{\left\|w^T\mu_0-w^T\mu_1\right\|_2^2}{w^T\Sigma_0w+w^T\Sigma_1w}\\ &=\frac{w^T(\mu_0-\mu_1)(\mu_0-\mu_1)^Tw}{w^T(\Sigma_0+\Sigma_1)w} \end{aligned} J=wTΣ0w+wTΣ1w∥∥wTμ0−wTμ1∥∥22=wT(Σ0+Σ1)wwT(μ0−μ1)(μ0−μ1)Tw

定义类内散度矩阵：Sw=Σ0+Σ1S_w=\Sigma_0+\Sigma_1Sw=Σ0+Σ1。

定义类间散度矩阵：Sb=(μ0−μ1)(μ0−μ1)TS_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^TSb=(μ0−μ1)(μ0−μ1)T

则最大化目标重写为，即广义瑞利商：
J=wTSbwwTSwwJ=\frac{w^TS_bw}{w^TS_ww} J=wTSwwwTSbw

根据拉格朗日乘子法：
w=Sw−1(μ0−μ1)w=S_w^{-1}(\mu_0-\mu_1) w=Sw−1(μ0−μ1)
其中，奇异值分解Sw=UΣVTS_w=U\Sigma V^TSw=UΣVT，则Sw−1=VΣ−1UTS_w^{-1}=V\Sigma^{-1}U^TSw−1=VΣ−1UT。

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis相关推荐

西瓜书+实战+吴恩达机器学习（二）机器学习基础（偏差、方差、调试模型技巧）
文章目录 0. 前言 1. 偏差方差的解决方法 2. 高偏差高方差的学习曲线 3. 调试模型技巧如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言泛化误差可分解为 ...
西瓜书+实战+吴恩达机器学习（十五）无监督学习之关联分析（Apriori, FP-growth）
文章目录 0. 前言 1. Apriori算法 1.1. 寻找频繁项集 1.2. 挖掘关联规则 2. FP-growth算法 2.1. 构建FP树 2.2. 寻找频繁项集如果这篇文章对你有一点小小的 ...
西瓜书+实战+吴恩达机器学习（十四）无监督学习之聚类（k-means, LVQ, 高斯混合聚类, DBSCAN, AGNES）
文章目录 0. 前言 1. 性能度量 1.1. 外部指标 1.2. 内部指标 2. 距离计算 3. k-means算法 4. 学习向量量化 5. 高斯混合聚类 6. 密度聚类 DBSCAN 7. 层次 ...
西瓜书+实战+吴恩达机器学习（二二）概率图模型之马尔可夫随机场
文章目录 0. 前言 1. 马尔可夫随机场结构 2. 近似推断 2.1. Metropolis-Hastings 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言 ...
西瓜书+实战+吴恩达机器学习（二一）概率图模型之贝叶斯网络
文章目录 0. 前言 1. 贝叶斯网络结构 2. 近似推断 2.1. 吉布斯采样 3. 隐马尔可夫模型HMM 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言概率 ...
西瓜书+实战+吴恩达机器学习（十九）特征选择（过滤式选择、包裹式选择）
文章目录 0. 前言 1. 过滤式选择 2. 包裹式选择如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言特征选择是一个很重要的数据预处理过程: 选择出重要的特征 ...
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
文章目录 0. 前言 1. 主成分分析PCA 如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言维数灾难:在高维情形下出现的数据样本稀疏.距离计算困难等问题. 缓解 ...
西瓜书+实战+吴恩达机器学习（十七）规则学习（序贯覆盖）
文章目录 0. 前言 1. 序贯覆盖如果这篇文章对你有一点小小的帮助,请给个关注,点个赞喔,我会非常开心的~ 0. 前言规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则. ⊕←f1∧ ...
西瓜书+实战+吴恩达机器学习（十六）半监督学习（半监督SVM、半监督k-means、协同训练算法）
文章目录 0. 前言 1. 半监督SVM 2. 半监督k-means 2.1. 约束k-means 2.2. 约束种子k-means 3. 协同训练算法如果这篇文章对你有一点小小的帮助,请给个关注, ...

西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis

文章目录

0. 前言

1. 线性判别分析参数求解方法

西瓜书+实战+吴恩达机器学习（五）监督学习之线性判别分析 Linear Discriminant Analysis相关推荐

最新文章

热门文章