AI笔记: 数学基础之正交矩阵与矩阵的QR分解

正交矩阵

若n阶方阵A满足ATA=EA^TA = EATA=E, 则称A为正交矩阵, 简称正交阵 (复数域上称为酉矩阵)
- A是正交阵的充要条件：A的列(行)向量都是单位向量，且两两正交。
若A为正交矩阵，x为向量，则Ax称为正交变换
- 正交变换不改变向量的长度 y=Ax,yTy=(Ax)TAx=xTATAx=xTEx=xTxy=Ax, y^Ty = (Ax)^TAx = x^TA^TAx = x^TEx = x^Txy=Ax,yTy=(Ax)TAx=xTATAx=xTEx=xTx
正交矩阵的性质
- 若A为正交矩阵，则逆矩阵A−1A^{-1}A−1也为正交矩阵
- 若P、Q为正交矩阵，那么P∗QP*QP∗Q也为正交矩阵

QR分解(正交三角分解)

对于m*n的列满秩矩阵A, 必有, Am∗n=Qm∗m⋅Rm∗nA_{m*n} = Q_{m*m} · R_{m*n}Am∗n=Qm∗m⋅Rm∗n
其中Q为正交矩阵，R为非奇异上三角矩阵，当要求R的对角线元素为正的时候，该分解唯一。
该分解叫做QR分解，常用语求解A的特征值、A的逆，最小二乘等问题
QR分解是将矩阵分解为一个正交矩阵与上三角矩阵的乘积

备注：图片托管于github，请确保网络的可访问性

这其中，Q为正交矩阵，QTQ=lQ^TQ = lQTQ=l, R为上三角矩阵
实际中，QR分解经常被用来解线性最小二乘问题。

施密特正交化过程

把一组线性无关向量组化为规范正交向量组，继而得到正交阵
η1=β1∣∣β1∣∣,η2=β2∣∣β2,⋯,ηr=βr∣∣βr∣∣\eta_1 = \frac{\beta_1}{||\beta_1||}, \eta_2 = \frac{\beta_2}{||\beta_2}, \cdots, \eta_r = \frac{\beta_r}{||\beta_r||}η1=∣∣β1∣∣β1,η2=∣∣β2β2,⋯,ηr=∣∣βr∣∣βr 是与α1,α2,...,αr\alpha_1, \alpha_2, ..., \alpha_rα1,α2,...,αr等价的规范(标准)正交组。
设α1,α2,...,αr\alpha_1, \alpha_2, ..., \alpha_rα1,α2,...,αr 线性无关, 令 β1=α1,β2=α2−[β1,α2][β1,β1]β1,β3=α3−[β1,α3]β1,β2β1−[β2,α3][β2,β2]β2⋯⋯\beta_1 = \alpha_1, \beta_2 = \alpha_2 - \frac{[\beta_1, \alpha_2]}{[\beta_1, \beta_1]} \beta_1, \beta_3 = \alpha_3 - \frac{[\beta_1, \alpha_3]}{\beta_1, \beta_2} \beta_1 - \frac{[\beta_2, \alpha_3]}{[\beta_2, \beta_2]} \beta_2 \cdots \cdotsβ1=α1,β2=α2−[β1,β1][β1,α2]β1,β3=α3−β1,β2[β1,α3]β1−[β2,β2][β2,α3]β2⋯⋯
βr=αr−[β1,αr][β1,β1]β1−[β2,αr][β2,β2]β2−⋯−[βr−1αr][βr−1,βr−1]βr−1\beta_r = \alpha_r - \frac{[\beta_1, \alpha_r]}{[\beta_1, \beta_1]}\beta_1 - \frac{[\beta_2, \alpha_r]}{[\beta_2, \beta_2]} \beta_2 - \cdots - \frac{[\beta_{r-1} \alpha_r]}{[\beta_{r-1}, \beta_{r-1}]} \beta_{r-1}βr=αr−[β1,β1][β1,αr]β1−[β2,β2][β2,αr]β2−⋯−[βr−1,βr−1][βr−1αr]βr−1
则β1,β2,⋯,βr\beta_1, \beta_2, \cdots, \beta_rβ1,β2,⋯,βr 两两正交，且与 α1,α2,⋯,αr\alpha_1, \alpha_2, \cdots, \alpha_rα1,α2,⋯,αr等价

例1

求矩阵A=(11−1100010001)A=\left (\begin{array}{cccc}1 & 1 & -1 \\1 & 0 & 0 \\0 & 1 & 0 \\0 & 0 & 1\end{array} \right )A=⎝⎜⎜⎛11001010−1001⎠⎟⎟⎞的QR(正交三角)分解
分析
- 容易判断出A∈C34×3A \in C_3^{4×3}A∈C34×3 即A是一个列满秩矩阵
- 将A=[α1,α2,α3]A = [\alpha_1, \alpha_2, \alpha_3]A=[α1,α2,α3]的三个列向量施密特正交化先得到一个规范正交向量组
- β1=α1=[1100]T\beta_1 = \alpha_1 = [1 \ \ 1 \ \ 0 \ \ 0]^Tβ1=α1=[1 1 0 0]T
- β2=α2−(α2,β1)β1,β1β1=α2−12β1=[12−1210]T\beta_2 = \alpha_2 - \frac{(\alpha_2, \beta_1)}{\beta_1, \beta_1} \beta_1 = \alpha_2 - \frac{1}{2} \beta_1 = [\frac{1}{2} \ \ \frac{-1}{2} \ \ 1 \ \ 0]^Tβ2=α2−β1,β1(α2,β1)β1=α2−21β1=[21 2−1 1 0]T
- β3=α3−(α3,β1)β1,β1β1−(α3,β2)β2,β2β2=α3+12β1+13β2=[−1313131]T\beta_3 = \alpha_3 - \frac{(\alpha_3, \beta_1)}{\beta_1, \beta_1} \beta_1 - \frac{(\alpha_3, \beta_2)}{\beta_2, \beta_2} \beta_2 = \alpha_3 + \frac{1}{2} \beta_1 + \frac{1}{3} \beta_2 = [\frac{-1}{3} \ \ \frac{1}{3} \ \ \frac{1}{3} \ \ 1]^Tβ3=α3−β1,β1(α3,β1)β1−β2,β2(α3,β2)β2=α3+21β1+31β2=[3−1 31 31 1]T
- 再将其单位化，得到一组标准正交向量组
  - η1=1∣∣β1∣∣β1=[222200]T\eta_1 = \frac{1}{||\beta_1||} \beta_1 = [\frac{\sqrt{2}}{2} \ \ \frac{\sqrt{2}}{2} \ \ 0 \ \ 0]^Tη1=∣∣β1∣∣1β1=[22 22 0 0]T
  - η2=1∣∣β2∣∣β2=[66−63630]T\eta_2 = \frac{1}{||\beta_2||} \beta_2 = [\frac{\sqrt{6}}{6} \ \ -\frac{\sqrt{6}}{3} \ \ \frac{\sqrt{6}}{3} \ \ 0]^Tη2=∣∣β2∣∣1β2=[66 −36 36 0]T
  - η3=1∣∣β3∣∣β3=[−36363632]T\eta_3 = \frac{1}{||\beta_3||} \beta_3 = [-\frac{\sqrt{3}}{6} \ \ \frac{\sqrt{3}}{6} \ \ \frac{\sqrt{3}}{6} \ \ \frac{\sqrt{3}}{2}]^Tη3=∣∣β3∣∣1β3=[−63 63 63 23]T
- ⇒Q(η1,η2,η3)=[2266−3622−6636063360032]\Rightarrow Q(\eta_1, \eta_2, \eta_3) = \left [\begin{array}{cccc}\frac{\sqrt{2}}{2} & \frac{\sqrt{6}}{6} & -\frac{\sqrt{3}}{6} \\\frac{\sqrt{2}}{2} & -\frac{\sqrt{6}}{6} & \frac{\sqrt{3}}{6} \\0 & \frac{\sqrt{6}}{3} & \frac{\sqrt{3}}{6} \\0 & 0 & \frac{\sqrt{3}}{2}\end{array} \right ]⇒Q(η1,η2,η3)=⎣⎢⎢⎢⎡22220066−66360−63636323⎦⎥⎥⎥⎤
- β1=α1=[1100]T\beta_1 = \alpha_1 = [1 \ \ 1 \ \ 0 \ \ 0]^Tβ1=α1=[1 1 0 0]T
- β2=α2−(α2,β1)(β1,β1)β1=α2−12β1=[12−1210]T\beta_2 = \alpha_2 - \frac{(\alpha_2, \beta_1)}{(\beta_1, \beta_1)} \beta_1 = \alpha_2 - \frac{1}{2} \beta_1 = [\frac{1}{2} \ \ \frac{-1}{2} \ \ 1 \ \ 0]^Tβ2=α2−(β1,β1)(α2,β1)β1=α2−21β1=[21 2−1 1 0]T
- β3=α3−(α3,β1)β1,β1β1−(α3,β2)β2,β2β2=α3+12β1+13β2=[−1313131]T\beta_3 = \alpha_3 - \frac{(\alpha_3, \beta_1)}{\beta_1, \beta_1}\beta_1 - \frac{(\alpha_3, \beta_2)}{\beta_2, \beta_2} \beta_2 = \alpha_3 + \frac{1}{2}\beta_1 + \frac{1}{3}\beta_2 = [\frac{-1}{3} \ \ \frac{1}{3} \ \ \frac{1}{3} \ \ 1]^Tβ3=α3−β1,β1(α3,β1)β1−β2,β2(α3,β2)β2=α3+21β1+31β2=[3−1 31 31 1]T
- ⇒\Rightarrow⇒
  - α1=β1\alpha_1 = \beta_1α1=β1
  - α2=12β1+β2\alpha_2 = \frac{1}{2}\beta_1 + \beta_2α2=21β1+β2
  - α3=−12β1−13β2+β3\alpha_3 = -\frac{1}{2}\beta_1 - \frac{1}{3}\beta_2 + \beta_3α3=−21β1−31β2+β3
- 再将其单位化，得到一组标准正交向量组
  - 由 β1=∣∣β1∣∣η1β2=∣∣β2∣∣η2β3=∣∣β3∣∣η3\left.\begin{array}{cccc}\beta_1 = ||\beta_1|| \eta_1 \\ \beta_2 = ||\beta_2|| \eta_2 \\ \beta_3 = ||\beta_3|| \eta_3\end{array} \right.β1=∣∣β1∣∣η1β2=∣∣β2∣∣η2β3=∣∣β3∣∣η3 和 α1=β1α2=12β1+β2α3=−12β1−13β2+β3\left. \begin{array}{cccc} \alpha_1 = \beta_1 \\ \alpha_2 = \frac{1}{2}\beta_1 + \beta_2 \\ \alpha_3 = -\frac{1}{2}\beta_1 - \frac{1}{3}\beta_2 + \beta_3 \end{array} \right.α1=β1α2=21β1+β2α3=−21β1−31β2+β3
  - ⇒α1=2η1α2=62η2+22η1α3=233η3−66η2−22η1⇒R=[222−220626600233]\Rightarrow \left.\begin{array}{cccc}\alpha_1 = \sqrt{2} \eta_1 \\\alpha_2 = \frac{\sqrt{6}}{2} \eta_2 + \frac{\sqrt{2}}{2} \eta_1 \\\alpha_3 = \frac{2\sqrt{3}}{3} \eta_3 - \frac{\sqrt{6}}{6} \eta_2 - \frac{\sqrt{2}}{2} \eta_1 \\ \end{array} \right. \Rightarrow R = \left [ \begin{array}{cccc} \sqrt{2} & \frac{\sqrt{2}}{2} & -\frac{\sqrt{2}}{2} \\ 0 & \frac{\sqrt{6}}{2} & \frac{\sqrt{6}}{6} \\ 0 & 0 & \frac{2\sqrt{3}}{3} \end{array} \right ]⇒α1=2η1α2=26η2+22η1α3=323η3−66η2−22η1⇒R=⎣⎢⎡20022260−2266323⎦⎥⎤
  - 故得到A矩阵的QR分解如下:
  - A=(α1α2α3)=QR=[2266−3622−6636063360032][222−22062660633600233]A = (\alpha_1 \ \ \alpha_2 \ \ \alpha_3) = QR =\left [\begin{array}{cccc}\frac{\sqrt{2}}{2} & \frac{\sqrt{6}}{6} & -\frac{\sqrt{3}}{6} \\\frac{\sqrt{2}}{2} & -\frac{\sqrt{6}}{6} &\frac{\sqrt{3}}{6} \\ 0 & \frac{\sqrt{6}}{3} & \frac{\sqrt{3}}{6} \\ 0 & 0 & \frac{\sqrt{3}}{2} \end{array} \right ] \left [ \begin{array}{cccc} \sqrt{2} & \frac{\sqrt{2}}{2} & -\frac{\sqrt{2}}{2} \\ 0 & \frac{\sqrt{6}}{2} & \frac{\sqrt{6}}{6} \\ 0 & \frac{\sqrt{6}}{3} & \frac{\sqrt{3}}{6} \\ 0 & 0 & \frac{2\sqrt{3}}{3} \end{array} \right ]A=(α1 α2 α3)=QR=⎣⎢⎢⎢⎡22220066−66360−63636323⎦⎥⎥⎥⎤⎣⎢⎢⎢⎡20002226360−226663323⎦⎥⎥⎥⎤
  - 简写为：A4×3=QR=Q4×3R3×3A_{4×3} = QR = Q_{4×3} R_{3×3}A4×3=QR=Q4×3R3×3

AI笔记: 数学基础之正交矩阵与矩阵的QR分解相关推荐

数据挖掘--矩阵的QR分解
矩阵的QR分解: A=QR,其中Q为正交矩阵,R为上三角矩阵. 具体可以通过HouseHold变换做到,分步进行,如下图: 如果矩阵A是可逆矩阵的话,那么分出的矩阵R一定是列线性无关的.此时,R的对角 ...
[矩阵的QR分解系列四] QR(正交三角)分解
QR分解简介 QR分解定义存在和唯一性存在性证明唯一性证明分解方法施密特(Schmidt)方法吉文斯(Givens)方法豪斯霍尔德(Householder)方法例子施密特(Sch ...
矩阵的QR分解以及在最小二乘法中的应用
一.最小二乘法最小二乘法是一种数学优化方法,通过最小化误差的平方和来拟合数据点. 以线性回归模型为例,如果我们用最小二乘法来求解线性回归的系数,可得: err(yi−y^)=1n∑i=1n( ...
线性代数(15)——矩阵的QR分解
矩阵QR分解矩阵的QR分解概述演示分析实现QR分解矩阵的QR分解和LU分解的目的都是为了便于矩阵计算. 矩阵的QR分解概述 A = Q R A=QR A=QR这一过程将矩阵分解为 Q Q ...
矩阵的QR分解（jama和emjl对比，UJMP锦上添花）
一.QR分解法(QR Decomposition) QR分解法是三种将矩阵分解的方式之一.其它两种:Cholesky和LU.QR分解经常用来解线性最小二乘法问题.QR分解也是特定特征值算法即QR算法的 ...
matlab qr分解作用,MATLAB论文_矩阵的QR分解及其MATLAB实现.doc
您所在位置:网站首页 > 海量文档 &nbsp>&nbsp计算机&nbsp>&nbspmatlab MATLAB论文_矩阵的QR分解及其MATLAB实 ...
[矩阵的QR分解系列一] 施密特(Schmidt)正交规范化
施密特正交规范化简介规范化步骤例子引用之前介绍的矩阵的三角分解系列介绍了利用矩阵初等变换解决了矩阵三角化问题以及具体的三角分解.但是以初等变换工具的三角分解方法并不能消除病态线性方程组不稳定 ...
用豪斯霍尔德（Householder）变换进行矩阵的QR分解，及其Matlab和OpenCV实现
1.豪斯霍尔德变换一般地,对给定的mmm维向量aaa,考虑分块 a=[a1a2]a=\left[ \begin{matrix} {{a}_{1}} \\ {{a}_{2}} \\ \end{matr ...
矩阵的QR分解c语言编程,[矩阵的QR分解系列五] Eigen中的QR分解
之前介绍的矩阵的三角分解系列介绍了利用矩阵初等变换解决了矩阵三角化问题以及具体的三角分解.但是以初等变换工具的三角分解方法并不能消除病态线性方程组不稳定问题,而且有时候对于可逆矩阵有可能也不存在三角分 ...

AI笔记: 数学基础之正交矩阵与矩阵的QR分解

正交矩阵

QR分解(正交三角分解)

施密特正交化过程

AI笔记: 数学基础之正交矩阵与矩阵的QR分解相关推荐

最新文章

热门文章