线性代数笔记19——格拉姆-施密特正交化
标准正交矩阵
标准正交向量
有一堆向量，q1,q2……qn，它们两两正交，这意味着这些向量满足：
一个向量没法和自己正交，在i = j时，让qiTqi = 1，这相当于qi模长等于1：
向量的转置乘以自身等于1，意味着这个向量是单位向量，所以我们称这堆向量q1,q2……qn是标准正交向量。
标准正交矩阵
现在把这些标准正交向量放入矩阵中：
QTQ最终得到了一个单位矩阵，但Q本身未必是方阵。Q的列是标准正交的，Q因此被称为标准正交矩阵；当Q是方阵时，简称为正交矩阵，此时说明Q和QT互为逆矩阵：
下面的Q就是一个正交矩阵：
可以将Q的三个列看作直角坐标系的三个轴，它们两两垂直。
再举个例子：
一个方阵的列是正交的并不意味着方阵是正交矩阵，比如下面这个：
虽然这个矩阵不是正交矩阵，QTQ的结果却与单位矩阵神似，我们可以对Q做点处理让它变成正交矩阵。当Q是正交矩阵时，Q的每一个列的模长都应该是1，因此可以这样处理：
这样就变成正交矩阵了。类似的还有下面这个：
正交矩阵与投影矩阵
如果Q是标准正交矩阵，那么Q在列空间上的投影矩阵将得到简化：
更进一步，如果Q是方阵：
如果对QQT再次投影（这里并未强调Q是方阵）：
其中：
在求解Ax = b时，如果A是标准正交矩阵，它的好处就是不需要计算逆矩阵：
这也意味着x帽的一个分量等于QT一行（或Q的一列的转置）与b的点积：
这也是很重要的一个式子：如果已知标准正交基，在第i个基方向上的投影就等于qiTb
格拉姆-施密特正交化
既然正交化这么好，有没有什么方法能使矩阵标准正交化呢？当然有，这就是格拉姆-施密特（Gram-Schmidt）正交化。
假设有两个线性无关的向量a和b，现在标准正交化这两个向量，让它们变成q1和q2。首先保持a不变让向量A = a，接下来要寻找到另一个向量B，使得A⊥B。p是b在a上的投影，B就相当于b的误差向量：
根据上一章的知识，p相当于a放缩了x倍，在一维空间内，x是一个标量：
这相当于B是b减去b在a上的投影，B是b和A的线性组合。
最后将A变成指向A方向的单位向量，B变成指向B方向的单位向量：
这就是格拉姆-施密特正交化方法。
如果还有一个向量c，由c到q3的转换：
代入几个数值看看：
验证：
这个标准正交矩阵Q是通过下面的原始矩阵得到的：
A的列空间和B的列空间相同，能够张成一个二维空间的平面。a和b是A的列空间的一组基，但这组基“不够好”，我们还想进一步让这组基的向量两两正交，并且都是单位向量，这就得到了q1和q2。
格拉姆-施密特表达
如同A = LU一样，A可以分解成一个正交矩阵和一个上三角矩阵的乘积，A = QR，这里A是原始矩阵，各列线性无关，Q是标准正交矩阵，R是上三角矩阵。
假设原始矩阵A有三个列向量：
按照格拉姆-施密特正交化方法转换后，得到q1,q2,q3：
q和a本身也是列向量，得出结果并不那么直观，可以展开表达：
由于q1Tq2 = 0，q1只是a1的单位化，所以a1T与q2也正交，a1Tq2 = 0；同理，a1Tq3 = 0。q2是a2和q1的线性组合，转置后，q2T是a2T和q1T的线性组合，这相当于：
如果t1 = 0，相当于q1和q2是线性相关的，这就不符合标准正交向量的前提，所以一定有t1 ≠ 0：
a2Tq2和a3Tq3不为0，如果是0，就没必要正交化了。q3是a3和q1、q2的线性组合，转置后，q3T是a3T和q1T、q2T的线性组合，这相当于：
示例
求矩阵A的QR分解。
作者：我是8位的
出处：http://www.cnblogs.com/bigmonkey
本文以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，非商业用途！
扫描二维码关注公众号“我是8位的”
线性代数笔记19——格拉姆-施密特正交化相关推荐
- 漫步线性代数十七——正交基和格拉姆-施密特正交化(上)
对于一个正交基,每个向量和其他所有向量垂直,坐标轴就是互相正交的.我们还可以进一步改善:每个向量除以它的长度得到单位向量,这样的话正交基变成了标准正交基: 16.如果 qTiqj={01i≠j,给出正 ...
- 漫步线性代数十八——正交基和格拉姆-施密特正交化(下)
格拉姆-施密特 声明:以后博主会把文章的pdf版本陆续发布到的网上,免费供大家下载 正交基和格拉姆-施密特正交化 假设我们有是是三个无关向量a,b,ca,b,c,如果他们是正交的,那么会多问题都变得容 ...
- matlab格拉姆施密特,改进的格拉姆-施密特正交化（modified Gram-Schmidt Process）
最近在重新学习线性代数,学习的教材是MIT Gilbert Strang 教授的<INTRODUCTION TO LINEAR ALGEBRA>,在第4.4章节格拉姆-施密特正交化时,书中 ...
- 施密特正交化_格拉姆-施密特正交化--QR分解法的来源
人类的数学发展到了今天,已经如浩瀚的宇宙般深不见底,不管时代怎么变迁,数学总是以超前于人类的科技水平而存在,如果说宇宙有尽头的话,那么宇宙的尽头也是数学的尽头,数学的停止就是世界的末日.所以我后悔当初 ...
- 线性代数(三十九) ：格拉姆-施密特正交化与标准正交基
本节介绍正交的概念,以及将基变为正交基的格拉姆-施密特(Gram-Schmidt)方法 1 正交 如果向量x,y满足: 则称x与y正交(orthogonal)或者垂直(perpendicular),记 ...
- ESL3.2（下）最小二乘法学习笔记（含施密特正交化，QR分解）
3.2(下) 最小二乘法 这是一篇有关<统计学习基础>,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中 ...
- 施密特正交化_机器学习 线性代数基础 | 3.3施密特正交化：寻找最佳投影基
▼ 更多精彩推荐,请关注我们 ▼3.3 施密特正交化:寻找最佳投影基 在本章的前面两个小节里,我们通过向指定子空间进行投影,探索到了如何寻找"最近距离"的有效途径,通过理论分析和 ...
- 线性代数 --- Gram-Schmidt, 格拉姆-施密特正交化（下）
Gram-Schmidt正交化过程 到目前为止,我们都是在反复强调"对于无解的方程组Ax=b而言,如果矩阵A是标准正交矩阵的话,就怎么怎么好了....".因为,不论是求投影还是计算 ...
- 线性代数 --- Gram-Schmidt, 格拉姆-施密特正交化（上）
Gram-Schmidt正交化 在前面的几个最小二乘的文章中,实际上已经看到Gram-Schmidt正交化的影子.在我个人看来,Gram-Schmidt正交化更像是一种最小二乘的简化算法.下面,我会接 ...
- 线性代数笔记27——对称矩阵及正定性
原文 | https://mp.weixin.qq.com/s/zdQttJfuubyztiVplScbwA 对称矩阵 对称矩阵是最重要的矩阵之一,对于对称矩阵来说,A=AT.矩阵的特殊性也表现在特征 ...
最新文章
- leetcode算法题--二叉树中的最长交错路径★
- STL-hasmap源码
- 【数据结构】——快速排序
- 2019 最新计算机技能排名出炉：Python 排第三，第一名是...
- prometheus Metric类型
- 我的框架-Unity3d中的用户数据储存模块UserDB
- MATLAB各个产品概述----哪些产品需要安装？哪些产品不需要安装？阅完了然
- iOS 8 界面设计 PSD 模板（iPhone 6），免费下载
- 重装系统后Win10无故关机解决
- 袁永福软件行业从业经历
- 通过手机型号查找相应UA信息
- multiple definition of `_start'
- Wish封店的原因有哪些？
- C语言实现wav文件的读写
- gts250 linux驱动下载,下载：NVIDIA显卡Linux驱动190.32测试版
- uedit使用技巧2
- 创客学院9天C语言二
- 175Echarts - 象形柱图（Spirits）
- YJAutoLayout
- Centos升级助手