LDA线性判别分析——投影的疑问解答

在周志华老师的《机器学习》中，线性判别这一节中说，样本点在直线上的投影为 $\omega ^{T}x_{i}$ ，这和线性代数中正交投影中所描述的可不大一样。

首先，要明确一点， $\omega ^{T}x_{i}$ 是指投影后的点到原点的距离，而不是投影后的点，原书有点误导。

因为，线性判别分析要分析投影后的点的距离（类间散度，类内散度），所以不用求投影点，直接求投影后的距离就可以了。

但是这并没有解答主要疑问，根据正交投影的公式，投影后距离也不是 $\omega ^{T}x_{i}$

先来看一下，正交投影的公式：

对 $\mathbb{R}^{n}$ 中的一个非零向量 $\mu$ ，考虑 $\mathbb{R}^{n}$ 中的一个向量y，y在 $\mu$ 上的正交投影记为 $\hat{y}$

$\hat{y}=\frac{y\cdot \mu }{\mu \cdot \mu }\cdot \mu$ （推导过程请参考线性代数相关章节）

矩阵的点乘表示，矩阵对应元素乘积的和。

我们来看一个例子：

$y=\begin{bmatrix} 7\\ 6 \end{bmatrix}$ ， $\mu =\begin{bmatrix} 4\\ 2 \end{bmatrix}$ ，求 $y$ 在 $\mu$ 上的正交投影。

$y\cdot \mu =\begin{bmatrix} 7\\ 6 \end{bmatrix}\cdot \begin{bmatrix} 4\\ 2 \end{bmatrix}=4*7+6*2=40$

$\mu \cdot \mu =\begin{bmatrix} 4\\ 2 \end{bmatrix}\cdot \begin{bmatrix} 4\\ 2 \end{bmatrix}=4*4+2*2=20$

$\hat{y}=\frac{y\cdot \mu }{\mu \cdot \mu }\cdot \mu=\frac{40}{20}\mu =2\begin{bmatrix} 4\\ 2 \end{bmatrix}=\begin{bmatrix} 8\\ 4 \end{bmatrix}$

从计算结果来看投影后向量 $\hat{y}$ 的模，并不等于 $\mu^{T}y$ ，反而 $\mu^{T}y=y\cdot \mu$ 。这就是产生疑问的点。

在观察LDA建模过程中最大化目标方程时，有了一些想法，最大化目标方程如下所示：

$J=\frac{\left \| \omega ^{T}\mu _{0}-\omega ^{T}\mu _{1} \right \|_{2}^{2}}{ \omega ^{T}\sum _{0}\omega +\omega ^{T}\sum _{1}\omega}$

可以看到，分子分母都有 $\omega ^{T}$ ，所以，是否是因为有相同的常数项可以消去，所以在消去常数项之后表示为了 $\omega ^{T}x_{i}$

在代数定义中找不到先关的解释，那我们就在几何中找找关系。

二维空间中点向直线的投影，如下图所示：

要求A'到原点的距离（即原点到点A'向量的长度），有 $dis(A')=dis(A)\cdot cos\theta$ （dis代表距离，distance的缩写），用向量范数表示为 $\left \| A' \right \|=\left \| A \right \|\cdot cos\theta$ ，而 $cos\theta =\frac{A'\cdot A}{\left \| A' \right \|\cdot \left \| A \right \|}$ ，综合两式得：

$\left \| A' \right \|=\frac{A'\cdot A}{\left \| A' \right \|}$

用原书中的符号表示就是（用 $x_{i}'$ 表示 $x_{i}$ 的投影点）： $\left \| x_{i}' \right \|=\frac{\omega \cdot x_{i}}{\left \| \omega \right \|}$ ，而矩阵点乘等于 $\omega \cdot x_{i}=\omega ^{T}x_{i}$ ，例如

$\begin{bmatrix} 1\\ 2 \end{bmatrix}\cdot \begin{bmatrix} 1\\ 2 \end{bmatrix}=\begin{bmatrix} 1 & 2 \end{bmatrix}\begin{bmatrix} 1\\ 2 \end{bmatrix}=\begin{bmatrix} 5 \end{bmatrix}$

所以 $\left \| x_{i}' \right \|=\frac{1}{\left \| \omega \right \|}\omega ^{T}x_{i}$ ，而 $\frac{1}{\left \| \omega \right \|}$ 为公共常量（都是同一个 $\omega$ ），一个公共常量对于最大化目标是无意义（虽然上下式可以消这个常量），并不影响结果，所以可以舍去，从而有了投影长度为 $\omega ^{T}x_{i}$

LDA线性判别分析——投影的疑问解答相关推荐

机器学习】LDA线性判别分析
[机器学习]LDA线性判别分析 1. LDA的基本思想 2. LDA求解方法 3. 将LDA推广到多分类 4. LDA算法流程 5. LDA和PCA对比 [附录1]瑞利商与广义瑞利商线性判别分析 ( ...
ML：基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)
ML:基于自定义数据集利用Logistic.梯度下降算法GD.LoR逻辑回归.Perceptron感知器.支持向量机(SVM_Linear.SVM_Rbf).LDA线性判别分析算法进行二分类预测(决策 ...
R语言LDA线性判别分析
LDA线性判别分析 R语言中LDA的实现过程 lda()函数理解 lda()用法 lda()参数介绍 lda示例可视化结果应用前景最流行或最成熟的机器学习技术之一是线性判别分析 (LDA) ...
脑电信号(EEG)处理中的机器学习方法总结——回归模型，SVM、K近邻、人工神经网络、朴素贝叶斯、决策树和随机森林、集成学习、模糊逻辑、LDA线性判别分析、K-means聚类、强化学习、迁移学习
本文归纳总结了机器学习在脑电分析中的应用,并详细介绍回归模型,SVM.K近邻.人工神经网络.朴素贝叶斯.决策树和随机森林.集成学习.模糊逻辑.LDA线性判别分析.K-means聚类.强化学习.迁移学习 ...
史上最好的LDA(线性判别分析)教程
一.前言最近由于研究需要,要用到线性判别分析(LDA).于是找了很多资料来看,结果发现大部分讲的都是理论知识,因此最后还是看的一知半解,后来终于找到了个英文的文档,作者由PCA引入LDA,看过后豁然 ...
【机器学习基础】数学推导+纯Python实现机器学习算法27：LDA线性判别分析
Python机器学习算法实现 Author:louwill Machine Learning Lab 线性判别分析(Linear Discriminant Analysis,LDA)是一种经典的线性分 ...
LDA(线性判别分析)详解 —— matlab
目录前言正题 1.LDA的思想 2. 瑞利商(Rayleigh quotient)与广义瑞利商(genralized Rayleigh quotient) 3. 二类LDA原理 4.多类LDA原理 ...
降维算法-LDA线性判别分析实例
内容简介线性判别分析LDA的基本概念代码实例:第一部分使用python详细说明了LDA的计算过程: 第二部分记录了如何使用sklearn完成LDA. 什么是线性判别分析? LDA,全名 Linea ...
LDA 线性判别分析
1. LDA是什么线性判别式分析(Linear Discriminant Analysis),简称为LDA.也称为Fisher线性判别(Fisher Linear Discriminant,FLD) ...

LDA线性判别分析——投影的疑问解答

LDA线性判别分析——投影的疑问解答相关推荐

最新文章

热门文章