奇异值的物理意义是什么？

矩阵奇异值的物理意义是什么？
或者说，奇异值形象一点的意义是什么？

把m*n矩阵看作从m维空间到n维空间的一个线性映射，
是否：
各奇异向量就是坐标轴，奇异值就是对应坐标的系数？

（题目可能问得不好，欢迎帮忙修改）

矩阵的奇异值是一个数学意义上的概念，一般是由奇异值分解（Singular Value Decomposition，简称SVD分解）得到。如果要问奇异值表示什么物理意义，那么就必须考虑在不同的实际工程应用中奇异值所对应的含义。下面先尽量避开严格的数学符号推导，直观的从一张图片出发，让我们来看看奇异值代表什么意义。

这是女神上野树里（Ueno Juri）的一张照片，像素为高度450*宽度333。暂停舔屏先（痴汉脸

隐约可以辨别这是短发伽椰子的脸……但还是很模糊，毕竟我们只取了5个奇异值而已。下面我们取20个奇异值试试，也就是(1)式等式右边取前20项构成

虽然还有些马赛克般的模糊，但我们总算能辨别出这是Juri酱的脸。当我们取到(1)式等式右边前50项时：

但往往我们只能得到如下带有噪声的图像（和无噪声图像相比，下图的部分白格子中带有灰色）：

通过奇异值分解，我们发现矩阵的奇异值从大到小分别为：14.15，4.67，3.00，0.21，……，0.05。除了前3个奇异值较大以外，其余奇异值相比之下都很小。强行令这些小奇异值为0，然后只用前3个奇异值构造新的矩阵，得到

可以明显看出噪声减少了（白格子上灰白相间的图案减少了）。

奇异值分解还广泛的用于主成分分析（Principle Component Analysis，简称PCA）和推荐系统（如Netflex的电影推荐系统）等。在这些应用领域，奇异值也有相应的意义。

考虑题主在问题描述中的叙述：“把m*n矩阵看作从m维空间到n维空间的一个线性映射，是否：各奇异向量就是坐标轴，奇异值就是对应坐标的系数？”我猜测，题主更想知道的是奇异值在数学上的几何含义，而非应用中的物理意义。下面简单介绍一下奇异值的几何含义，主要参考文献是美国数学协会网站上的文章[1]。

下面的讨论需要一点点线性代数的知识。线性代数中最让人印象深刻的一点是，要将矩阵和空间中的线性变换视为同样的事物。比如对角矩阵作用在任何一个向量上

其几何意义为在水平方向上拉伸3倍，方向保持不变的线性变换。换言之对角矩阵起到作用是将水平垂直网格作水平拉伸（或者反射后水平拉伸）的线性变换。

如果不是对角矩阵，而是一个对称矩阵

那么，我们也总可以找到一组网格线，使得矩阵作用在该网格上仅仅表现为（反射）拉伸变换，而没有旋转变换

考虑更一般的非对称矩阵

很遗憾，此时我们再也找不到一组网格，使得矩阵作用在该网格上之后只有拉伸变换（找不到背后的数学原因是对一般非对称矩阵无法保证在实数域上可对角化，不明白也不要在意）。我们退求其次，找一组网格，使得矩阵作用在该网格上之后允许有拉伸变换和旋转变换，但要保证变换后的网格依旧互相垂直。这是可以做到的

下面我们就可以自然过渡到奇异值分解的引入。奇异值分解的几何含义为：对于任何的一个矩阵，我们要找到一组两两正交单位向量序列，使得矩阵作用在此向量序列上后得到新的向量序列保持两两正交。下面我们要说明的是，奇异值的几何含义为：这组变换后的新的向量序列的长度。

郑宁：人们是如何想到奇异值分解的？

参考文献：

[1] We Recommend a Singular Value Decomposition（Feature Column from the AMS）

[2] 徐树方，《矩阵计算的理论与方法》，北京大学出版社。

参考： https://www.zhihu.com/question/22237507

CV中必要的数学知识_奇异值的物理意义是什么？相关推荐

机器学习中的基本数学知识
注:本文的代码是使用Python 3写的. 机器学习中的基本数学知识线性代数(linear algebra) 第一公式矩阵的操作换位(transpose) 矩阵乘法矩阵的各种乘积内积外积 ...
总结：机器学习中的基本数学知识
注:本文的代码是使用Python 3写的. 机器学习中的基本数学知识线性代数(linear algebra) 第一公式矩阵的操作换位(transpose) 矩阵乘法矩阵的各种乘积内积外积 ...
人工智能中的核心数学知识体系
下面讨论重要的问题:AI用到了数学体系中的哪些核心知识? 当你成为一个AI领域的熟手之后,每当遇到难以解决的问题时,其实最常见的问题多半是找不到解决当前问题的思路,即没有好的算法解决当前遇到的问题.有 ...
奇异值的物理意义是什么？强大的矩阵奇异值分解(SVD)及其应用
作者:郑宁链接:https://www.zhihu.com/question/22237507/answer/53804902 来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请 ...
奇异值的物理意义是什么？
作者:知乎用户链接:https://www.zhihu.com/question/22237507/answer/53804902 来源:https://www.zhihu.com/question/ ...
Paddle_程序员必备的数学知识_转发
程序员--必备数学知识 !!!Attention 本博客转发至百度aistudio的<深度学习7日入门-cv疫情检测>,课程非常棒!本人力推! 博客转发地址:https://aistudi ...
python数学知识_【数学知识】高一的集合知识的Python编程实现
[数学知识]高一的集合知识的Python编程实现Python3 集合概念集合与元素的关系集合与集合的关系集合与集合的运算本博客适合高中学生入门编程知识学习,从高中的数学概念转换到其python实现, ...
java相关的数学知识_程序员必备的一些数学基础知识
作为一个标准的程序员,应该有一些基本的数学素养,尤其现在很多人在学习人工智能相关知识,想抓住一波人工智能的机会.很多程序员可能连这样一些基础的数学问题都回答不上来. 矩阵A(m,n)与矩阵B(n,k) ...
彩票中包含的数学知识，可以研究研究！
来源:阮一峰的网络日志 ruanyifeng.com/blog/2018/04/lottery-mathematics.html 彩票怎样才能中奖? 理论上,只能靠运气.但是,如果规则设计得不好,就可 ...
游戏开发中常用的数学知识---矩阵(一)
在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合,最早来自于方程组的系数及常数所构成的方阵.这一概念由19世纪英国数学家凯利首先提出. 矩阵是高等代数学中的常见工具,也常见于统计分 ...

CV中必要的数学知识_奇异值的物理意义是什么？

奇异值的物理意义是什么？

CV中必要的数学知识_奇异值的物理意义是什么？相关推荐

最新文章

热门文章