特征值和特征向量的几何含义理解

在刚开始学的特征值和特征向量的时候只是知道了定义和式子，并没有理解其内在的含义和应用，这段时间整理了相关的内容，跟大家分享一下；

首先我们先把特征值和特征向量的定义复习一下：

定义：设A是n阶矩阵，如果数λ和n维非零向量x使关系式

……(1)

成立，那么，这样的数λ称为矩阵A的特征值，非零向量x称为A的对应于特征值λ的特征向量，（1）式还可以写为：

……（2）

如果想求出矩阵对应的特征值和特征向量就是求式（2）的解了。

那么，问题来了，这个式子要怎么理解呢？

首先得先弄清矩阵的概念:一个矩阵代表的是一个线性变换规则，而一个矩阵的乘法运行代表的是一个变换;

比如有一个矩阵A：

一个列向量为X为：

一个矩阵的乘法为：

向量X通过矩阵A这个变化规则就可以变换为向量Y了

在几何上的变换就类似于这样：

知道了这个就可以从几何上理解特征值和特征向量是什么意思了，由

可知:

所以，确定了特征值之后，向量x的变换为：

引用《线性代数的几何意义》的描述：“矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。”

那么这样定义的特征值和特征向量有什么实际用途呢?在这里我举个数据挖掘算法中重要的一个算法：PCA（主成分分析）来给大家直观的感受一下。

首先，理解一下信息量这个概念

看几张图：

如果我们单独看某一个维度的话，比如看x1这个维度

可以看到将点投影到x1这个维度上看的话，图1的数据离散性最高，图3较低，图2数据离散性是最低的。数据离散性越大，代表数据在所投影的维度上具有越高的区分度，这个区分度就是信息量。如果我们用方差来形容数据的离散性的话，就是数据方差越大，表示数据的区分度越高，也就是蕴含的信息量是越大的。

基于这个知识，如果我们想对数据进行降维的话，比如图1的两个维度的数据降成一维，我们可以选择保留X1这个维度的数据，因为在这个维度上蕴含的信息量更多。

同理，图2就可以保留x2这个维度的数据。但是，问题来了，图3应该保留哪个维度的数据呢？答案是保留哪个维度都不好，都会丢失较大的信息量。但是，如果我们把图3的坐标轴旋转一下

比较容易看出，图3在新的坐标轴下就能进行降维了。所以选取正确的坐标轴，然后根据各个维度上的数据方差大小，决定保留哪些维度的数据，这样的做法就是主成分分析的核心思想。

选取正确的坐标轴的过程中，我们需要一个矩阵变换，就类似于这样：

也就是：

其实，经过数学上的推导的，我们就可以知道，特征值对应的特征向量就是理想中想取得正确的坐标轴，而特征值就等于数据在旋转之后的坐标上对应维度上的方差。

也就是说，直接求出矩阵A的特征向量得出对应的特征向量。我们就能找到旋转后正确的坐标轴。这个就是特征值和特征向量的一个实际应用：“得出使数据在各个维度区分度达到最大的坐标轴。”

所以，在数据挖掘中，就会直接用特征值来描述对应特征向量方向上包含的信息量，而某一特征值除以所有特征值的和的值就为：该特征向量的方差贡献率（方差贡献率代表了该维度下蕴含的信息量的比例）。

通常经过特征向量变换下的数据被称为变量的主成分，当前m个主成分累计的方差贡献率达到一个较高的百分数（如85%以上）的话，就保留着这m个主成分的数据。实现了对数据进行降维的目的。整个主成分分析的算法原理也就是这个。

特征值和特征向量的几何含义理解相关推荐

特征值与特征向量的几何含义(转)
全文转自blog:http://blog.csdn.net/lfkupc/article/details/4561564 长时间以来一直不了解矩阵的特征值和特征向量到底有何意义(估计很多兄弟有同样感受 ...
矩阵特征值分解与奇异值分解(SVD)含义解析及应用
原文链接:http://blog.csdn.net/xiahouzuoxin/article/details/41118351 特征值与特征向量的几何意义矩阵的乘法是什么,别只告诉我只是" ...
第一次上课：特征值特征向量的几何直观
这是我上的关于模式识别领域的第一门研究生课,同往常一样,我尽量会在课程结束之后立刻对课程内容进行总结并把笔记上传到网上,供需要的人进行查阅. 第一节课并没有讲什么具体的知识,主要讲了一下从几何角度对特 ...
随机向量x的协方差阵_【科普】如何正确理解特征值与特征向量
Greeting! 特征值与特征向量是大学线性代数与统计学课程里的内容,当年强背了过去,并没有真正理解过这个问题.为了以后学习统计学习方法更方便,在此记录下学习文章以加深理解.(个人观点,如有错漏请提 ...
特征值和特征向量的理解
最近看了几篇文章,对理解特征值和特征向量有很大帮助,贴到这里供日后复习花了10分钟,终于弄懂了特征值和特征向量到底有什么意义_豚-CSDN博客_特征向量有什么用转自 http://k.sina.co ...
特征值和特征向量的理解浅显易懂肯定有收获
特征值和特征向量的理解前言一.矩阵是什么? 二.举个例子 1.计算特征值与特征向量 2.用特征向量表示任意向量三.理解其他结论 1.对角化分解 2.矩阵的特征值分别是原矩阵特征值的倒数 3.特征 ...
复数特征值求特征向量_如何理解特征值的意义？
毕业多年,曾经有同事问我该如何理解特征值的意义? 当时,实在羞愧,我一学数学的,真不知该如何回答. 极力回想,也只能以"特征值的求法.步骤...bla...bla..."应付了事, ...
如何理解特征值和特征向量
学完线性代数的同学,可能会对线性代数的很多概念有所疑惑. 这个东西有什么用?那个玩意定义出来有什么意义? 本文将探讨线性代数中及其重要的两个概念:特征值与特征向量. (PS:下文中的矩阵AA均认为是方 ...
PCA和SVD，包好特征值和特征向量的理解
本文转载自LeftNotEasy的https://blog.csdn.net/u010725283/article/details/79155204 前言: 上一次写了关于PCA与LDA的文章,PCA ...

特征值和特征向量的几何含义理解

特征值和特征向量的几何含义理解相关推荐

最新文章

热门文章