矩阵、变换和空间的关系

1.关于矩阵

一种变换
矩阵：可以理解为是对象的一种变换，或者是坐标系的一种变换。也即固定坐标系下一个对象的变换，或者固定对象所处的坐标系变换（说白了就是：运动是相对的）。达成同一个变换的结果，比如把点A变到点B去，你可以有两种做法：
第一，坐标系不动，点动，把A点挪到B去。
第二，点不动，变坐标系，让x轴的度量（单位向量）变成原来的 A . x / B . x A.x/B.x A.x/B.x倍，让y轴的度量（单位向量）变成原先的 A . y / B . y A.y/B.y A.y/B.y，这样点还是那个点，方式不同，结果一样。
对坐标系施加变换的方法，就是让表示那个坐标系的矩阵与表示那个变化的矩阵相乘。同一个变换，在不同的坐标系下表现为不同的矩阵，但是它们的本质是一样的，所以本征值相同。

2.一些常见的矩阵

初等矩阵
初等矩阵是指由单位矩阵经过一次三种矩阵初等变换得到的矩阵（注意是一次），初等矩阵都是可逆矩阵，其逆矩阵仍是同一种初等矩阵。

定理1:初等矩阵A可逆的充分必要条件是A的标准形为E。
定理2:初等矩阵A可逆的充要条件是A可以表示成一些初等方阵的乘积。

满秩矩阵
满秩的矩阵都能通过满秩的单位矩阵通过有限次的初等变换得到，相当于有限个初等矩阵的乘积。乘以可逆矩阵和对矩阵进行初等变换是一致的。

本征矩阵(Essential matrix)
本征矩阵（也称本质矩阵）用字母 E E E来表示，在对极约束中，其物理意义是左右相机坐标系相互转换的矩阵,表示几何意义，与单成像仪无关，用来描述左右相机图像平面上对应点在各自相机坐标系之间的关系，其秩为2；
1、本质矩阵是由对极约束定义的。由于对极约束是等式为0的约束，所以对E乘以任何非零常数后，对极约束依然满足，这一点被称为E在不同尺度下是等价的。
2、根据 E = t ∧ R E=t∧R E=t∧R，可以证明，本质矩阵E的奇异值为 [ σ , σ , 0 ] T [σ,σ,0]^{T} [σ,σ,0]T。这称为本质矩阵的内在性质。可以理解为：一个 3 × 3 3×3 3×3 的矩阵是本征矩阵的充要条件是对它奇异值分解后，它有两个相等的奇异值，并且第三个奇异值为0。
3、由于平移和旋转各有3个自由度，所以 t R t^{R} tR共有6个自由度。但由于尺度等价性，故E实际上只有5个自由度。
4、我们观察摄像机内参数矩阵 M M M，如果图像没有畸变，即 c x , c y cx,cy cx,cy为0，并且焦距进行了归一化处理，那么 M M M就成了单位阵，此时本征矩阵 F F F就等于基础矩阵 E E E，即 F = E F=E F=E。
5、本质矩阵描述了两个相机之间归一化相机坐标之间的关系，基础矩阵描述了两个相机的像素坐标之间的关系。

基础矩阵(Fundamental matrix)
1、基础矩阵由于尺度等价性，故F实际上只有9-1=8个自由度。基础矩阵F除了包含 E E E的信息外，还包含了两个摄像机的内参数，由于F包含了这些内参数，因此它可以在像素坐标系将两个摄像机关联起来。如将一台摄像机的像平面上的点在图像坐标（像素）上的坐标和另一台摄像机的像平面上的点关联起来
2、基础矩阵F的秩也是2。

对称矩阵
沿对角线两边的元素，对称相等，如果其矩阵元素都是实数，就称A为实对称矩阵
　　　　　　　　　　　　　　　　　 A T = A A^{T} =A AT=A 或者 A i j = A j i A_{ij}=A_{ji} Aij=Aji
反对称矩阵
矩阵的转置等于原矩阵元素与-1相乘，它的主对角线上的元素全为0。即
　　　　　　　　　　　　　　　　　 A T = − A A^{T} = - A AT=−A
协方差矩阵
协方差是两个随机变量线性相关程度的一种度量。对多维随机变量 X = [ X 1 , X 2 . . . , X n ] T \textbf X=[X_1, X_2..., X_n]^T X=[X1,X2...,Xn]T ，往往是计算各维度两两之间的协方差，这样各协方差组成了一个 n × n n×n n×n的矩阵，称为协方差矩阵。
协方差矩阵描述了随机点的概率密度的分布情况，概率密度值越大说明在样本中出现的可能性越大。协方差矩阵是个对称矩阵，而且是半正定的（见后描述），对角线上的元素是各维度上随机变量的方差。
若随机变量 X \textbf X X协方差矩阵为单位阵，则 X 1 , X 2 . . . , X n X_1, X_2..., X_n X1,X2...,Xn 的方差均为1，表示该变量为 n n n维的标准正态分布。
作为半正定矩阵，可以对协方差矩阵进行乔里斯基(Cholesky)分解。
也有PCA主成分分析，把协方差矩阵做一个奇异值分解(SVD)，求出最大的奇异值的特征方向。
变换矩阵

变换矩阵、尺度矩阵和旋转矩阵三者的关系 A = R S A=RS A=RS

3.一些矩阵变换

初等变换
初等变换是指矩阵A、B满足 B = P A Q B=PAQ B=PAQ，则称A与B等价。（其中，A和B无需为方阵，P和Q要求可逆，但不要求 Q = P ＾ − 1 Q=P＾{-1} Q=P＾−1 ）

三种初等变换；
第一类，把单位矩阵的两行(列)互换；
第二类，把单位矩阵的某一行(列)变为原来的c倍；
第三类，把单位矩阵某行(列)的k倍加到另一行(列).
初等变换的本质
无论施加多少次初等变换，矩阵的秩是永远不会变的。所以矩阵可以通过初等变换化为若尔当标准型。标准型的实质就是把矩阵的列向量，或者说线性空间的基，化为标准正交基。也就是说，初等变换的本质是线性空间的基变换，目的是将一组基转化为标准正交基。

尺度变换
属于初等线性变换，尺度矩阵为 S = [ 2 0 0 1 / 2 ] S=\begin{bmatrix}2 & 0\\ 0 & 1/2\end{bmatrix} S=[2001/2]，表示二维矩阵进行 x x x轴方向拉伸到2倍， y y y轴压缩到原来二分之一。
旋转变换
属于初等线性变换，旋转矩阵 R = [ c o s ( θ ) − s i n ( θ ) s i n ( θ ) c o s ( θ ) ] R=\begin{bmatrix}cos(\theta) & -sin(\theta)\\ sin(\theta) & cos(\theta)\end{bmatrix} R=[cos(θ)sin(θ)−sin(θ)cos(θ)]， θ \theta θ 为顺时针旋转的度数。

正交变换
正交变换是保持图形形状和大小不变的几何变换，包含旋转，轴对称及上述变换的复合。

对称变换和反对称变换

对称变换与反对称变换都是欧氏空间中的线性变换，它们都是用内积关系定义的

4.三维空间的4种变换

欧式变换
在3维空间中的欧式变换包含6个自由度，允许3个方向的旋转和3个方向的平移，变换前后不改变角度、平行性、垂直性、体积。
相似变换
相似变换在3维空间中的包含7个自由度（欧式变换6个+允许尺度缩放），矩阵相似前后的角度、平行性和垂直性不发生变换，相似变换的集合也称为相似变换群。
矩阵相似和矩阵等价是不完全相等的，可以说初等变换包含相似变换。
相似变换是形如 B = P − 1 A P B=P^{-1}AP B=P−1AP。称 A A A与 B B B相似，记 A A A~ B B B。（要求 A A A和 B B B都为方阵， P P P可逆）。
相似变换不改变特征值，是欧氏空间中的线性变换，在不同基下的对应矩阵是相似的；若要计算矩阵的幂，我们可以寻找到一个易于计算幂的矩阵，显然，对角矩阵最容易计算幂。

仿射变换
立方体经过射影变换后变成斜六面体，但是各面会保持平行性
射影变换
是最一般的变换，2维空间中是8个自由度，3维空间中是15个自由度。
比如3维真实世界到照片成像可以看成是一个射影变换，即16自由度到只缺失了一个自由度，即深度信息，也就是说只保留了面与面相交和相切的不变性质，其他类似体积比，平行性，缩放，长度，夹角等都会改变。

5.一些特别的矩阵（以下基本是方阵）

正规矩阵
任意正规矩阵都可以经过正交变换变成对角矩阵，反过来，可以经过一个正交变换成为对角矩阵的矩阵都是正规矩阵
对角矩阵
对角矩阵（diagonal matrix）是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。

正交矩阵

如果正交矩阵的行列式为 +1，则我们称之为特殊正交矩阵，如三维空间的旋转矩阵，可以构成特殊欧式群SO(3)。
方块矩阵，元素是实数，行与列都是正交的单位向量，他的转置矩阵=其逆矩阵

单应矩阵
对于两幅图的单应矩阵，如果同比例改变图像尺寸，改变后的图像仍然满足之前的单应性，即单应矩阵包含了尺度等价性。
伴随矩阵

又称伴随阵（adjoint matrix）只是对于方阵来说才有，是一种同构映射(Homomorphism), 有了伴随矩阵就可以更加方便的求解逆矩阵。
结合逆矩阵的定义，有 A − 1 = ( 1 / ∣ A ∣ ) A ∗ A^{-1}=(1/|A|)A^* A−1=(1/∣A∣)A∗，进一步的可以跟方便地求解线性方程组 A x = b Ax=b Ax=b， x = A − 1 b x=A^{-1}b x=A−1b,
矩阵满秩的情况下，A*与A逆是差不多的效果，他们都能使被A变换后的空间回到，原来的样子，或与原来相似的样子。
也有时候对于没有逆的矩阵，即退化矩阵，有时候是需要一些关于逆的类似物的，这时候伴随阵就发挥了作用。

正定、半正定矩阵
存在大于等于0的特征值，则称为半正定矩阵。
对于所有特征值都大于零，则称为正定矩阵，正定矩阵在相似变换下可化为标准型，即单位矩阵。
正定矩阵的性质类似复数中的正实数

正定矩阵目的是将一个矩阵分解为若干个矩阵的乘积可以大大降低存储空间；其次，可以减少真正进行问题处理时的计算量
假设A是个对称正定矩阵，A的特征值分别为 λ 1 \lambda_1 λ1：14.93303437 和 λ 2 \lambda_2 λ2：0.06696563，两个特征值在数量级上相差很大，这意味着b发生扰动时，向量x在这两个特征向量方向上的移动距离是相差很大的——对于 λ 1 \lambda_1 λ1对应的特征向量只需要微小的移动就可到达b的新值，而对于 λ 2 \lambda_2 λ2，由于它比起 λ 1 \lambda_1 λ1太小了，因此需要x做大幅度移动才能到达b的新值，这是严重的问题在迭代求解最小值时候。
关于矩阵可以有以下各种分解方式，
矩阵的三角分解（Cholesky分解、LU分解等），
矩阵的正交三角分解(QR分解等)，
矩阵的满秩分解，
矩阵的奇异值分解(SVD) (关于SVD可以查看http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html#2038925）

酉矩阵
酉是Unitary的音译，有“一”和“元”的意思。
酉矩阵的特征值都是模为1的复数，即分布在复平面的单位圆上，因此酉矩阵行列式的值也为1,转置矩阵等于逆矩阵

性质：
它的n个列向量是两两正交的单位向量
A − 1 = A H A^{−1}=A^H A−1=AH
A − 1 A^{−1} A−1也是酉矩阵；

能观性矩阵
能观性矩阵的秩表示系统能观的维度，能观性矩阵零空间的秩表示系统不能观的维度。

6. 一些矩阵运算

运算复杂度分析
矩阵乘法、求逆运算复杂的为 o ( n 3 ) o(n^3) o(n3)，因此尽量避免直接求矩阵的逆，尽可能的先分解它。
矩阵的秩
一个矩阵 A A A的秩为 r r r，可以如下三个角度理解：

从数值的角度看，表示线性方程组 A x Ax Ax 中有 r r r不可消去的变量，
从向量的角度看，表示矩阵 A A A 最多只有 r r r个线性无关的行向量或列向量，
从空间的角度看，表示矩阵 A A A 的行空间或列空间的“维度”为 r r r，

矩阵的逆
矩阵求逆是有限制的，非奇异矩阵才有逆，对于旋转矩阵R来说，其逆是对于该旋转的反向变换。 R R − 1 = I RR^{-1}=I RR−1=I
矩阵的迹
对于方阵来说矩阵才有迹，一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)。
满足如下

满足加法： t r ( A + B ) = t r ( A ) + t r ( B ) tr(A + B) = tr(A) + tr(B) tr(A+B)=tr(A)+tr(B)
满足线性： t r ( r A ) = r t r ( A ) tr(rA) = r tr(A) tr(rA)=rtr(A)
矩阵和其转置矩阵都会有相同的迹： t r ( A T = t r ( A ) ) tr(A^{T}=tr(A)) tr(AT=tr(A))

向量点乘（内积）和叉乘（外积）

向量点乘

也叫内积，数量积，（记忆法：内积投影长）
　　　　　　　　　 a ∗ b = ∣ a ∣ ∗ ∣ b ∣ ∗ c o s θ a * b = |a| * |b| * cos\theta a∗b=∣a∣∗∣b∣∗cosθ
结果是一个向量在另一个向量方向上投影的长度，是一个标量。
作用有计算投影向量长度，构成夹角，构成的三角形面积。
点乘可以表示两个向量平行程度的大小，当两向量垂直时，平行度最小为0。

向量叉乘

也叫外积，向量积，（记忆法：外积法向量）
向量a与b的外积a×b结果也是一个向量，其长度等于
　　　　　　　　　　　 a × b = ∣ a ∣ ∣ b ∣ s i n θ a×b = |a||b|sin\theta a×b=∣a∣∣b∣sinθ
对任意向量a
　　　　　　　　　 0 × a = a × 0 = 0 0×a = a×0 = 0 0×a=a×0=0 ，　　 a × a = 0 a×a=0 a×a=0
可以求两向量的法向量，方向符合右手法则即拇指方向为法向量。
在二维空间中，叉乘aXb等于由向量a和向量b构成的平行四边形的面积。
在三维空间中该两个向量和法向量张成的空间六面体的体积，也即求行列式。
叉乘可以表示两向量的垂直程度，当两个向量平行时，也就是垂直度最小为0。

矩阵点乘和数乘

矩阵叉乘
叉乘是我们最常见和使用的矩阵乘法，也称为汉密尔顿积 H a d a m a r d − p r o d u c t Hadamard-product Hadamard−product。简单莱说就是矩阵a的第一行乘以矩阵b的第一列，各个元素对应相乘然后求和作为第一元素的值。矩阵只有当左边矩阵的列数等于右边矩阵的行数时,它们才可以相乘，包含有以下性质：

结合律： A ( B + C ) = A B + A C A(B+C)=AB+AC A(B+C)=AB+AC
分配律： A ( B C ) = ( A B ) C A(BC)=(AB)C A(BC)=(AB)C
交换律：通常不满足交换律。

点乘

矩阵中每个数乘以一个常数。

相乘

要求矩阵的行列维度需相等，即对应位置元素相乘，结果维度不变。

矩阵左乘与右乘

绕静坐标系（世界坐标系）旋转，则左乘，也是变换矩阵坐标矩阵；若是绕动坐标系旋转（自身建立一个坐标系），则右乘，也就是坐标矩阵变换矩阵。
即左乘是相对于坐标值所在的坐标系（世界坐标系）下的三个坐标轴进行旋转变换。而右乘则是以当前点为旋转中心，进行旋转变换。
矩阵左乘相当于行变换矩阵右乘相当于列变换，空间中的向量用列向量表示，用矩阵左乘列向量，就是把它在空间当中变换。

矩阵奇异值和特征值

奇异值

奇异值分解：就是把矩阵分成多个方向的力，值就是各个“分力”的大小。奇异值决定了形变，大小决定在形变中的重要性。

特征值
矩阵的特征值和特征向量可以揭示线性变换的深层特性。

区别

特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。
特征值分解是一个提取矩阵特征很不错的方法，但是它只是对方阵而言的，
在现实的世界中，我们看到的大部分矩阵都不是方阵，描述这样普通的矩阵的重要特征，奇异值分解是一个能适用于任意的矩阵的一种分解的方法：

7. 矩阵的四个子空间

定义

什么是空间
空间是由元素和运算构成，例如向量空间：一个向量集合中的所有元素满足加法和实数乘法构成了一个向量空间。
某个空间的“维度” 表示的是张成（span）该空间所需要的基向量的个数，其中基向量就是通常所说的线性无关的向量。
四个子空间
列空间：各个列张成的空间
行空间：各个行张成的空间
零空间：零空间是方程 A x = 0 Ax = 0 Ax=0的所有解的集合，或者说是零解所张成的空间
左零空间：

名称关系
矩阵的秩=列空间的基的向量数=独立向量数=主元数
可逆矩阵=非奇异矩阵=满秩矩阵

矩阵某一行乘以一常数，行与行间的加减法、交换操作统称为“矩阵的初等变换”，任何形式的初等变换都可以用相应形式的矩阵进行表示，而这些用于表示初等变换的矩阵称为“初等矩阵”，通常记为 E E E。

初等矩阵是初等变换是可逆的，所以初等矩阵也是可逆的。
可逆矩阵性质
如果矩阵A是可逆的，A的逆矩阵是唯一的。
两个可逆矩阵的乘积依然可逆。
可逆矩阵的转置矩阵也可逆。
子空间的维数
只要清楚四个基本子空间的概念，这个问题就比较容易回答。列空间的一组基一定包含A的一个列向量，这个列向量是m维的，所以列空间一定在 R m \bm{R}^m Rm中；同理，行空间在 R n \bm{R}^n Rn中。具体来说，由于秩是r，所以列空间是 R m \bm{R}^m Rm中的r维子空间，行空间是 R n \bm{R}^n Rn中的r维子空间。
零空间的维数是由自由元决定的，自由元等于矩阵列数减去主元个数也就是n – r，所以零空间是n维空间内的n – r维子空间。左零空间是m维空间内的m – r维子空间。
矩阵的行空间和矩阵的零空间是互相垂直的，同理，矩阵的列空间和矩阵的左零空间也是互相垂直的。

列空间，位于 R m \bm{R}^m Rm下的r维空间
行空间，位于 R n \bm{R}^n Rn下的r维空间
零空间，位于 R n \bm{R}^n Rn下的 n – r n – r n–r维空间
左零空间，位于 R m \bm{R}^m Rm下的 m – r m – r m–r维子空间

和矩阵秩的关系
假设A是 m ∗ n m*n m∗n大小的矩阵，其秩为 r r r，可逆的充分必要条件是 m = n = r m=n=r m=n=r，也就是A为方阵并且满秩（full rank），即通常我们所说的逆。但是如果A不是满秩，则可以分为如下三种情况：

左逆（left-inverse）
即A是列满秩（fullcolumn rank），则只存在左逆，列满秩说明 r = n < m r=n<m r=n<m，也就是说列向量是无关的，而行向量不是，根据求解Ax=0：主变量、自由变量、特殊解，则A的零空间里只有零向量，并且Ax=b存在0个或1个解，A的左逆就是，因为如果将此左逆乘以A，可得到，注意A是 m ∗ n m*n m∗n的长方矩阵（rectangular matrix，即非方阵），则 A T A A^{T}A ATA是个 n ∗ n n*n n∗n对称矩阵，而且一定是满秩的，所以 A T A A^{T}A ATA是可逆的，所以上面相乘可得到单位阵。
如果把左逆放到A右边去乘就得不到单位阵了，放到右边乘后有，根据子空间投影，这是投影矩阵P，并且是向A的列空间上的投影，总之一个长方形矩阵不可能有一个放两边都成立的逆。
右逆（right-inverse）
也即A是行满秩的情况下，只存在右逆，行满秩表示 r = m < n r= m < n r=m<n，m个行向量是线性无关的，而列向量不是， A T A^{T} AT的零空间只包含零向量，因为没有行向量的组合等于零向量，并且 A x = b Ax=b Ax=b存在无数解，而A的零空间有 n − m n-m n−m个自由变量，因此其零空间是 n − m n-m n−m维的，A的右逆为，因为，同样 A A T AA^{T} AAT是 m ∗ m m*m m∗m的对称矩阵，而且一定是满秩的，所以 A A T AA^{T} AAT是可逆的，所以上面相乘才可得到单位阵。将右逆放到左边乘，则有，也得到一个投影矩阵，只不过是向A的行空间投影。
注意，左逆和右逆并不只有上面公式给出的两种，有可能有其他左逆或右逆，只不过公式给出的这两个是最简单，最好的。总结一下4种情况：

分类	秩和行列关系	是否存在逆	存在空间	说明
满秩	r = m = n r=m=n r=m=n	存在两边逆	没有零空间和左零空间	特殊欧式群 R ( O ) 3 R(O)^3 R(O)3
列满秩	r = n < m r=n<m r=n<m	只存在左逆	没有零空间，有左零空间	可构成欠定方程组
行满秩	r = m < n r=m<n r=m<n	只存在右逆	没有左零空间，有零空间	可构成超定方程组
都不满秩	r < m , n r<m,n r<m,n	存在伪逆	有零空间和左零空间	最一般矩阵的情况

伪逆（pseudo-inverse）
第4种是最一般的情况，更多的是存在伪逆，有零空间和左零空间，其秩比行数和列数都小，秩亏损，只好先做奇异值分解 A = U D V T A=UDV^T A=UDVT， U , V U,V U,V是正交阵，其逆矩阵很容易求，逆矩阵分别是它们的转置 U T U^T UT和 V T V^T VT，但 D D D是对角阵中间的对角阵大小为 m ∗ n m*n m∗n，秩为 r r r，对角阵没有真正的逆，该矩阵存在零空间所以是不可逆的，好在 D D D是可逆阵容易求逆的一类矩阵，只要对中能求逆的地方求逆便可得到伪逆，的伪逆为，大小为 n ∗ m n*m n∗m 。