以A(T)表示A的转置
因为只有方阵才可能具有特征值，对于实际遇到的一些问题（比如最小二乘问题），往往遇上长方阵，长方阵根本没有特征值。因而就有必要对特征值做推广，这就是奇异值。奇异值是特征值的一种推广。
再看什么是奇异值。对于任意矩阵A（甚至是非方阵），A(T)A（这个时候就变成方阵了,可以计算特征值了）的特征值就称为A的奇异值。奇异值有个特性，就是A(T)A和AA(T)特征值相同。证明如下：
【假定A(T)A做了一个特征分解,为：
A(T)A = QΣQ(T)
对上式取转置,有
AA(T) = QΣ(T)Q(T)
显然,Σ是个对角阵,因而,Σ(T) = Σ
故而,AA(T)和A(T)A有完全一致的特征分解,即共特征值】
再看特征值和奇异值的关系。对于长方阵来说，它根本不存在特征值。所以之后再讨论。对于方阵来说，容易证明，其所有奇异值恰好为其所有特征值的模长的平方（即奇异值全实非负），因而奇异值和特征值有相当良好的对应关系。证明如下：
【假定方阵A有如下特征分
A = QΣQ(T)
则A(T)A = (QΣQ(T))(QΣQ(T)) = QΣΣQ(T)
因而,A(T)A的特征值,也就是A的奇异值,恰好为A的特征值的模长的平方】
【当然,对于复数域情况,里边的T要改成H,那么前一个Σ自然会带上复共轭】
再看奇异值为什么重要。我们知道,对于一个方阵来说,特征分解后,从特征值和特征向量我们就可以知道矩阵的大量性质。对于非方阵来说,我们也希望得到一个这样信息量巨大的分解,这就是奇异值分解（SVD）.这个SVD分解里边左右奇异向量分别是什么你的书上肯定都有,就不写在这里了.
最后看一下SVD分解和最小二乘的关系.我们知道,最小二乘有个解法,对于Ax = b的最小二乘问题,等价于求解其法方程A(T)Ax = A(T)b,这个时候就变成方阵的问题了.但是这种算法是不稳定的。一种更为有效的算法就是SVD分解并利用广义逆求解。
看一下广义逆和最小二乘、SVD的关系.广义逆可以百度一下.定义有很多式子.但是,对于可逆阵来说,广义逆就是逆.这里把A的广义逆记作A(+).则Ax = b的最小二乘解就是x = A(+)b.所以,现在的问题就是,怎么求A的广义逆A(+).通过SVD分解,广义逆可以这么求：
如果A有SVD分解如下：
A = VΣU(T)
则A(+) = UΣV(T)
当然,这里叙述可能不那么严谨.因为还涉及到Σ的形状什么的,所以两个式子的Σ形状大小不一样,形状变了,补0就行.
因此,SVD分解就完美解决了最小二乘问题.
-----更正---------
说错了一点点,奇异值不是特征值的模长的平方,它就是模长,因为奇异值要对Σ(H)Σ对角线开算术平方根.
-------------------------
追问：
那对于最小二乘法，为什么要在左右乘上A的转置进行求解呢？
追答：
那种解法称作“法方程”解法。相当于求得一个x，使得A(T)(b-Ax)=0，也就是残差与矩阵A行向量的内积为0，即残差与矩阵A的行空间正交，由投影定理，可以证明，此时残差二范数最小。以上就是法方程的几何意义。法方程的解恰好是最小二乘解还有其他更严格的证明，比如泛函式的证明。但是，法方程法不是最佳解法。一般较优解法是QR分解法以及广义逆法（配合SVD分解）。

线性代数A矩阵乘以A的转置的含义或者几何意义相关推荐

  1. mxn的矩阵乘以自身转置的意义

    矩阵乘以自身转置的意义是将矩阵中的每一对不同的元素相乘,然后相加.如果矩阵是n×m的,那么矩阵乘以自身转置后得到的矩阵是一个n×n的矩阵,并且对角线元素是原矩阵对应行列的点积之和,其他位置的元素都是0 ...

  2. 主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？

    这是从网上看到的PCA算法的步骤: 第一步,分别求每列的平均值,然后对于所有的样例,都减去对应的均值. 第二步,求特征协方差矩阵. 第三步,求协方差的特征值-显示全部 关注者 1,218 被浏览 78 ...

  3. 机器学习--主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？

    原文链接:主成分分析PCA算法:为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是"投影"?_天下对手教会少林武僧-CSDN博客_pca投影矩阵 这是从网上看到的PCA算 ...

  4. 【线性代数】矩阵及其特性

    [线性代数]矩阵及其特性 写在前面 只拉伸不旋转的方向 特征值和特征向量 相似和对角化 正交,对称矩阵 拉伸最大的方向 二次型理论 从曲线而来 合同矩阵 正定二次型 参考资料 写在前面 本文是笔者用于 ...

  5. 线性代数之矩阵我们需要了解的知识点（增广矩阵矩阵的迹 矩阵的秩阶梯型...）

                                                                          线性代数之矩阵基础点常见概念与示例汇总 矩阵的定义 由m乘n ...

  6. 【线性代数】矩阵、向量、行列式、特征值与特征向量（掌握这些概念一篇文章就够了）

    在数学领域中,线性代数是一门十分有魅力的学科,首先,它不难学:其次,它能广泛应用于现实生活中:另外,在机器学习越来越被重视的现在,线性代数也能算得上是一个优秀程序员的基本素养吧? 一.线性代数的入门知 ...

  7. 线性代数之矩阵导数微分

                               线性代数之矩阵导数微分 矩阵微分及性质 矩阵微分的形式见下: 类似函数的微分,矩阵微分有如下性质: 其中矩阵转置的微分等于矩阵微分的转置: 矩阵导 ...

  8. 线性代数之矩阵偏导续

                                线性代数之矩阵偏导续 矩阵偏导 针对y或者f(x)是元素,x是矩阵的情况,则元素对矩阵的求导形式如下: 那么由这个定义则有: 证明有两种方法:一 ...

  9. python矩阵运算与线形代数_[译] 线性代数：矩阵基本运算

    线性代数:矩阵基本运算 在本文中,我们将介绍矩阵的大部分基本运算,依次是矩阵的加减法.矩阵的标量乘法.矩阵与矩阵的乘法.求转置矩阵,以及深入了解矩阵的行列式运算.本文将不会涉及逆矩阵.矩阵的秩等概念, ...

最新文章

  1. Mocha and Math 运算
  2. Python之Matplotlib画图方法
  3. 面试官系统精讲Java源码及大厂真题 - 14 简化工作：Guava Lists Maps 实际工作运用和源码
  4. linux 重启oracle实例_Oracle实战(二)-Oracle概述
  5. 3. GD32F103C8T6 GPIO的位带操作
  6. 自家院子里能不能种桃树呢？
  7. ld cannot find an existing library
  8. Matlab魔方矩阵的创建及逻辑矩阵的用法
  9. 基于SSM框架的实验室设备管理系统
  10. 计算机无法打开小米路由共享文件,其他电脑如何方法小米路由器硬盘共享文件...
  11. el-empty Empty 空状态 自定义图片 使用本地图片
  12. 【informix】informix 日期字段
  13. NanUI 无边框拖拽
  14. 微信小程序项目启动错误“Error: ENOENT: no such file or directory, open”
  15. C#实现在图片上绘图（填充）以及橡皮擦功能
  16. 服务器响应404,无法加载资源错误：服务器响应状态为404（未找到）
  17. jbpm学习笔记（九） task活动之泳道的概念
  18. 游侠安全网-安全产品和厂家调研-欢迎补充
  19. 导入项目出现： Unable to resolve target ‘android-10′ 解决办法
  20. 用CSS实现三角形及其原理

热门文章

  1. linux内核去掉pty,请问如何升级内核？高手请进！！！
  2. Linq之IQueryable与IEnumerable
  3. python 报价机器人_100行代码实现报价机器人公众号后台
  4. 谷粒商城笔记+踩坑（17）——【认证模块】登录，用户名密码登录+微博社交登录+SpringSession+xxl-sso单点登录
  5. 220927工作日志
  6. python数据分列_Python pandas 数据无法正常分列
  7. 【直播升级——AWS 云之旅】
  8. 2-6年“iOS开发”，跳槽简历思路（必备）
  9. MFC下载网页简单实现
  10. 新手必看的模具设计十大分模法，干货满满！！！