PCA算法之特征值分解

奇异值分解和特征值分解都是对矩阵进行分解的不同方法，所谓分解，即使将原矩阵拆分成另一种表达方式，且新的表达方式比原矩阵更简单，更具有实际意义。奇异值分解对象可以使任意n*m维的矩阵，而特征值分解只能针对n*n的方阵，特征值分解从某种意义上来说可以算是奇异值分解的一种特殊情况，所以下面先对特征值分解进行一个描述。

对角阵：

其实这种矩阵有特殊性，比如除了其主对角线元素外的所有元素都是0，这种矩阵我们称之为对角阵。计算方便。

一个矩阵是否能相似对角化是有条件的，即能够找到这样一组基，使得该矩阵对应的线性变换对于该组基上的每个向量都是一个缩放动作。

相似对角阵：

一个矩阵可以看成一个线性变换。它的特征向量代表缩放的方向，特征值代表缩放的大小。

$\vec{A}\vec{v} = \vec{P^{-1}}\vec{\Lambda} \vec{P }\vec{v}$

特征向量也可以表一组基,表示为坐标系b。设有两个坐标系，a是二维正交坐标系，基为 $\begin{bmatrix} 1\\ 0 \end{bmatrix}$ $\begin{bmatrix} 0\\ 1 \end{bmatrix}$ ，有一个向量 $\vec{v}$ 在A中是 $\binom{1}{1}$ 。则 $\vec{v}$ 在B中可以表示为 $\vec{P }\vec{v}$ 。按照A矩阵的进行运动，在各个基上分别伸缩其对应特征值的大小，再乘以 $\vec{P^{-1}}$ ，既将坐标回到a坐标系。

最后看一下这个特征分解的形式，中间的对角阵其实告诉了我们这个线性变换的变换程度，而两边对应的基变换矩阵中的特征向量告诉了我们线性变换的变换角度等性质。这样一个比较复杂的矩阵变换通过特征分解，就能得到很好的解释。这也是PCA中能够使用该方法的原因之一。

PCA算法之特征值分解相关推荐

PCA的本质----特征值分解
本章总结:(可与主成分分析(PCA)-最大方差解释 https://blog.csdn.net/goodshot/article/details/79950977 结合理解) 从数学的角度,对矩阵 ...
PCA主成分分析-Python特征值分解
PCA主成分分析目的:找出向量W,得到线性可分的边界ZZ=W.T*X 步骤: w有两种求法一个是特征值分解一个是奇异值分解代码部分最开始简单的计算结果有有这种小数,就查了一下,原因是二进制的问 ...
从特征分解到协方差矩阵：详细剖析和实现PCA算法
从特征分解到协方差矩阵:详细剖析和实现PCA算法本文先简要明了地介绍了特征向量和其与矩阵的关系,然后再以其为基础解释协方差矩阵和主成分分析法的基本概念,最后我们结合协方差矩阵和主成分分析法实现数据降 ...
特征值分解、奇异值分解、PCA概念整理（转载）
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/jinshengtao/article/details/18448355 本文将分别介绍特征值分解.奇 ...
特征值分解、奇异值分解、PCA概念整理
本文将分别介绍特征值分解.奇异值分解.及PCA的相关理论概念. 文章末尾将给出Householder矩阵变换.QR算法求解特征值.特征向量的代码其中,特征值分解.奇异值分解的相关内容,转载自: ht ...
PCA方法的分解过程_协方差矩阵+特征值分解+降维投影
文章目录问题引入 PCA的实现 1. 数据集加载 2. 数据预处理 3. 主成分分解 3.1 协方差矩阵构造 3.2 特征值分解 3.3 方差解释 3.4 降维投影 3.5 降维结果问题总结附录 ...
【PCA与LDA】特征值分解与奇异值分解以及图像压缩处理原理
前言: 上一次写了关于 PCA与LDA 的文章,PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值分解去实现的.在上篇文章中便是基于特征值分解的一种解释.特征值和奇异值在大部分 ...
基于PCA的降维中，进行特征值分解和SVD分解相关笔记
降维原理原矩阵X,变换矩阵W,变换后,进入新空间下的WTXW^TXWTX. 想要进入新空间时,各特征之间的差异大分得开,也就是新空间下矩阵的方差越大越好,即WTXXTWW^TXX^TWWTXXTW越 ...
机器学习—数据压缩(PCA)—特征值分解、奇异值分解+代码理解
一.特征值协方差:协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同. 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值,另外一个也大于自身的期望值,那么两个变量之 ...

PCA算法之特征值分解

PCA算法之特征值分解相关推荐

最新文章

热门文章