实对称矩阵的特征值求法_机器学习与线性代数 - 特殊矩阵
在线性代数中,有一些特殊的矩阵具有易于分析和操作的特性。它们的特征向量可能具有特定的特征值或特殊关系。还有一些方法可以将一个矩阵分解成这些“更简单”的矩阵。
操作复杂性的降低提高了可伸缩性。然而,即使这些矩阵都是特殊的,它们也不是罕见的。在机器学习和许多应用程序中,我们经常需要处理它们。
对角矩阵
对角矩阵S使所有非对角元素等于零。
许多分解方法都有一个分解后的矩阵是对角矩阵。由于矩阵只包含对角元素,我们有时用向量来表示它。
一般矩阵的逆不容易计算。但是求对角矩阵的逆很简单。我们可以用1/m替换对角线元素。
如果其中一个矩阵是对角的,矩阵乘法就简单多了。但是当任何对角元素等于0或者对角矩阵不是方形的时候,它的逆就不存在。但是,在一些方法中,伪逆矩阵(keep the inverse of 0 as 0)可以用作替代。
正交矩阵
正交矩阵Q是满足下列要求的方形矩阵
Q中的所有列(v 1 ,...,v 6 ,...)都是正交的,即对于i≠j,vᵢᵀvⱼ= 0,vᵢ都是单位向量。
这听起来像是一个严格的要求但是对于一些矩阵,比如对称矩阵,我们可以选择特征向量在分解过程中是正交的。
以下矩阵是正交的。
像对角矩阵一样,它的逆也很容易计算 - 正交矩阵的逆是它的转置。这是正交矩阵非常方便的一个关键原因。
证明:
如果我们用正交矩阵乘以x, x中的误差不会被放大。这种行为对于保持数值稳定性是非常理想的。
对称矩阵
如果矩阵的转置等于自身,则矩阵是对称的。
例如,
对称矩阵是线性代数和机器学习中最重要的矩阵之一。在机器学习(ML),我们经常使用矩阵保存f(vᵢ , vⱼ)。这些函数通常是对称的,f(x, y) = f(y, x),因此对应的矩阵是对称的。例如在机器学习中,f可以测量数据点之间的特征距离,或者计算特征的协方差。
对称矩阵属性
对称矩阵S是n×n方形矩阵。
- 它的逆也是对称的。
- S的所有特征值都是实数(不是复数)。
- 即使重复的特征值,我们也可以选择S的 n个本征向量为正交。
- 可以通过将矩阵A与其转置 - AᵀA或AAᵀ(通常AᵀA ≠ AAᵀ)相乘来形成对称矩阵。在机器学习中,以零为中心的协方差矩阵就是这种形式。
- 如果 A的列是线性无关的,则 AᵀA是可逆的。
- 每个对称矩阵小号可以进行对角化(因式分解)与Q由正交的特征向量形成vᵢ的小号和Λ是对角矩阵保持所有的特征值。
- 每个对称矩阵S可以被对角化(分解),其中Q由S的正交特征向量vi形成,Λ是对角矩阵的所有特征值。
上面的等式可以改写为
其中v是单位向量。因此,特征值项λᵢ主导了上述每个项的重要性。事实上,如果它太小,我们可以完全放弃相应的项λᵢvᵢvᵢᵀ。
该分解特性和“ S具有n个正交特征向量”是对称矩阵的两个重要特性。
正交特征向量
特征向量不是唯一的。但通常,我们可以“选择”一组特征向量来满足某些特定条件。如前所述,对称矩阵的特征向量可以选择为正交。如果S是对称矩阵,则其特征值λ和μ满足以下条件。
证明
从这种情况来看,如果λ和μ具有不同的值,则等效性迫使内积为零。因此,x和y是正交的,并且很容易将它们归一化为具有单位长度 - 正交。这证明了如果它们的相应特征值不同,我们可以选择S的特征向量是正交的。即使有重复的特征值,对于对称矩阵仍然如此。
证明 - 第2部分(可选)
对于n×n对称矩阵,我们总能找到n个独立的正交特征向量。最大的特征值是
为了求最大值,我们令r(x)的导数为0。经过一些处理,得到
即,当x是特征向量且特征值最大时,r(x)的比值最大。通过归纳,我们可以推导出我们可以用正交于前一个的特征向量找到下一个最高的特征值。这只是证明的高级描述。
谱定理(Spectral theorem)
让我们总结一下。每个n×n对称矩阵S具有n个实特征值λᵢ,其中有n个正交特征向量vᵢ。
这些特征值可以形成对角矩阵Λ as diag(λ)。我们还可以将特征向量vᵢ连接到V,即,
我们将V重命名为Q.因为Q是正交的,所以它是可逆的并且Qᵀ= Q-1。因此,对称矩阵S可以分解为
这是谱定理。因为找到转置比逆转更容易,所以在线性代数中非常需要对称矩阵。
正定矩阵
正定矩阵具有所有正特征值。它是对称的。这听起来很不寻常,但现实生活中的许多矩阵都是肯定的。下面的术语计算具有状态x的系统的能量(energy)。如果S是正定的,它保证能量保持为正,除非x为零。
在许多应用中,我们假设能量是正的,因此,相应的S应该是正定的。
测试正定性有许多等效条件。如果以下任何测试为真,则对称矩阵S为正定的:
1.所有特征值> 0,
2.所有左上角的行列式> 0,
3.所有pivots > 0,
4.能量(energy)> 0,除了x = 0,
5. S可以由一个列向量无关的矩阵a构成。
验证所有特征值是正的需要很多工作。因此,条件2或3是更常见的测试。例如,正pivots 意味着正特征值(反之亦然)。另一方面,如果我们通过上述测试之一证明矩阵是正定的,我们保证它拥有上述所有属性。
证明
在本节中,我们将证明上面的一些属性。如果S是正定的,则所有λ都是正的。因此,相应状态x的计算能量为正(x = 0除外)。
如果S由AᵀA组成,则S在能量测试下为正。
除了正定,我们还有半正定,负定和半负定。半正定用“≥”替换上面的所有“>”条件(例如,它的特征值是大于或等于0 ),负定和半负定与正定和半正定相反。
Minimum
在微积分中,我们将f的一阶导数设置为零以找到其临界点。然而,这样的点可以是最大值,最小值或鞍点。许多机器学习模型以二次形式xAᵀx表示其成本函数。知道这个函数是否是凸函数是很重要的。因为如果它是凸的,我们知道局部最小值也是全局最小值。如果A是正定的,则二次函数是凸的。
对于任何函数f,我们计算下面的Hessian矩阵。如果A是正定的,则相应的点是局部最小值。
协方差矩阵
在机器学习中,我们非常有兴趣找到特征之间的相关性。下图显示了重量和高度之间的正相关关系。
在机器学习中,我们用协方差矩阵Σ建模关系。
协方差矩阵是半正定的。
实对称矩阵的特征值求法_机器学习与线性代数 - 特殊矩阵相关推荐
- 实对称矩阵的特征值求法_机械振动理论(3)-解析实模态分析
模态分析是一种研究系统振动特性的分析方法,可以分为:解析模态分析和试验模态分析. 解析法,在事先知道结构的几何形状.边界条件和材料特性的前提下,将结构的质量分布.刚度分布和阻尼分布分别用质量矩阵.刚度 ...
- 关于n对角矩阵数据结构_机器学习与线性代数 - 特殊矩阵
在线性代数中,有一些特殊的矩阵具有易于分析和操作的特性.它们的特征向量可能具有特定的特征值或特殊关系.还有一些方法可以将一个矩阵分解成这些"更简单"的矩阵. 操作复杂性的降低提高了 ...
- 线性代数学习笔记——第七十三讲——实对称矩阵的特征值与特征向量
1. 实对称矩阵的特征值都是实数 2. 实对称矩阵不同特征值的实特征向量相互正交
- 特征值与特征向量_机器学习和线性代数 - 特征值和特征向量
特征值和特征向量可能是线性代数中最重要的概念之一.从机器学习.量子计算.物理到许多数学和工程的问题,都可以通过找到一个矩阵的特征值和特征向量来解决. 根据定义(标量λ.向量v是特征值.特征向量A): ...
- 高等代数第3版下 [丘维声 著] 2015年版_机器学习与线性代数简明教程(下)
机器学习与线性代数简明教程(上) 线性代数在机器学习(ML)和深度学习(DL)中是必不可少的.即使我们努力为许多理论创建精确的机器学习模型,线性代数仍然是这些研究中的重要工具. 正交矩阵 如果方形矩阵 ...
- 混淆矩阵评价指标_机器学习模型评价指标 -- 混淆矩阵
机器学习模型评价指标 – 混淆矩阵 在机器学习领域中,混淆矩阵(confusion matrix)是一种评价分类模型好坏的形象化展示工具.其中,矩阵的每一列表示的是模型预测的样本情况:矩阵的每一行表示 ...
- python 矩阵特征值分解_讲一下numpy的矩阵特征值分解与奇异值分解
1.特征值分解 主要还是调包: from numpy.linalg import eig 特征值分解: A = P*B*PT 当然也可以写成 A = QT*B*Q 其中B为对角元为A的特征值的对角矩 ...
- 证明:对于实对称矩阵,不同特征值对应的特征向量相互正交
前言 不同特征值对应的特征向量相互正交,是实对称矩阵的一个重要属性,而且从这个属性出发可以证明实对称矩阵的另一个属性:实对称矩阵必可相似对角化.对于一个 n 维矩阵,其可相似对角化的充分且必要条件是- ...
- 实对称矩阵的性质_浅谈矩阵的相似对角化(一)
森屿瑾年:浅谈线性变换和矩阵之间的关系zhuanlan.zhihu.com 通过前面的讨论,我们引出了线性变换在不同基下的矩阵之间的关系,知道了线性变换在不同基下的矩阵是相似的,进而我们可以通过选取 ...
- 【机器学习】【线性代数 for PCA】矩阵与对角阵相似、 一般矩阵的相似对角化、实对称矩阵的相似对角化
Note:PCA主成分分析用到实对称阵的相似对角化,用个文章复习一下相关概念和计算过程. 1.对角矩阵 如果一个矩阵满足如下条件,则它就是一个对角阵: (1)是一个方阵 (2)只有对角线元素是非零元素 ...
最新文章
- iOS后台持续定位并定时上传
- JZOJ__Day 1:【NOIP普及模拟】JABUKE
- nginx服务器配置安全维护,Nginx服务器相关的一些安全配置建议
- 活动安排问题的 动态规划和贪心算法
- 抓取AJAX网页的方法-Firefox组件,C#集成
- Fatal error: Call to undefined function randstr()
- ionic3 前台时间戳转化成日期问题
- SCM系统(Supply Chain Management System,供应链管理系统)
- 迁移应用程序到.NET Framework 4.5:弃用类型与新特性
- loj 1308(点双连通分量应用)
- pyqt 子窗口控制主窗口绘图_PyQtGraph如何关闭绘图窗口/关闭所有绘图窗口?
- 严蔚敏数据结构c语言版第二版思维导图
- Teclast X80h安装linux,安装android-x86教程。(没法再贴吧发表,只有百度网盘在线阅读...
- 计算机视觉之基本概论
- ggplot去掉背景网格线和更改为白色背景
- win10下Anaconda虚拟环境安装pycocotools
- 时间序列中Hurst指数的计算(python代码)
- Mysql(三)索引、视图、存储过程、触发器、分区表
- office在线编辑功能。
- 进公司两个月了还没上手项目_27个“经验证且易于上手”的赚钱在线业务创意