麻省理工学院 - MIT - 线性代数（我愿称之为线性代数教程天花板）_哔哩哔哩_bilibili

MIT—线性代数笔记00 - 知乎 (zhihu.com)

一、子空间投影

投影（射影）

投影问题的几何解释就是：如何在向量a的方向上寻找与向量b距离最近的一点。

从图中可以看出，这个距离最近的点p就位于穿过b点并与向量a正交的直线与向量a所在直线的交点上。这就是b在a上的投影。如果我们将向量p视为b的一种近似，则长度e=b-p就是这一近似的误差。

(9条消息) 线性代数——理解向（2）_MUTA️的博客-CSDN博客

投影矩阵

我们将投影问题用投影矩阵的方式进行描述，即为p=Pb，其中P为投影矩阵。

$P=A(A^{T}A)^{-1}A^{T}$ 当它作用于向量b，相当于把b投影到矩阵A的列空间。

(计算矩阵的除法，其实就是将被除的矩阵先转化为它的逆矩阵，它的逆矩阵相当于被除的矩阵分之一，那么矩阵的除法就相当于前面的矩阵和后面的矩阵的逆矩阵相乘的乘积)

观察这个矩阵可知，矩阵P的列空间就是向量a所在的直线，矩阵的秩是1？？？？

p是P的线性组合，所以p的列空间和P的列空间相同，又因为p和a共线，所以矩阵P的列空间就是向量a所在的直线，秩为1.

矩阵的秩是1。投影矩阵P是一个对称矩阵。另一方面，如果做两次投影则有 $P^{2}b=Pb$ ，这是因为第二次投影还在原来的位置。因此矩阵P有如下性质： $P^{2}=P$ ， $P^{T}=P$ 。

为什么要投影？

如前所述，方程Ax=b有可能无解，我们需要得到方程的“最优解”。这里的问题在于向量Ax一定在矩阵A的列空间之内，但是b不一定，因此我们希望将b投影到A的列空间得到p，将问题转化为求解 $A\hat{x}=p$ 。

最小二乘法

最优解的含义即为误差最小，这里误差就是每个方程误差值的平方和 $||e||^{2}=||Ax-b||^{2}$ ，因此就是寻找具有最小误差平方和的解x，这就是所谓的“最小二乘”问题。

从几何上讨论求解过程，就是试图寻找数据点到直线距离的平方和 $e_{1}^{^{2}}+e_{2}^{^{2}}+e_{3}^{^{2}}$ 最小的情况，此时得到的C+Dt分别为p1，p2和p3，它们是满足方程并最接近于b的结果。

另一种理解：对于R3空间上的向量b，它投影到矩阵A的列空间中会得到向量p=[p1 p2 p3]，投影到矩阵A的零空间中则为e。

求解 $\hat{x}=\begin{bmatrix} \hat{C}\\ \hat{D} \end{bmatrix}$ 和p：

方程 $A^{T}A\hat{x}=A^{T}b$ ,先计算 $A^{T}A$

$\begin{bmatrix} 1 &1 &1 \\ 1&2 &3 \end{bmatrix}\begin{bmatrix} 1 &1 \\ 1&2 \\ 1& 3 \end{bmatrix}=\begin{bmatrix} 3 &6 \\ 6& 14 \end{bmatrix}$

加上b做增广矩阵，因为左乘行向量相当于对行向量进行线性组合，所有加上b对结果不影响

$\begin{bmatrix} 1 &1 &1 \\ 1&2 &3 \end{bmatrix}\begin{bmatrix} 1 &1 &| 1\\ 1& 2 &|2 \\ 1& 3 &|2 \end{bmatrix}=\begin{bmatrix} 3 & 6 &|5 \\ 6& 14 & |11 \end{bmatrix}$

上述结果可理解为：

$\begin{bmatrix} 3 &6 \\ 6 &14 \end{bmatrix}\begin{bmatrix} \hat{C}\\ \hat{D} \end{bmatrix}=\begin{bmatrix} 5\\ 11 \end{bmatrix}$

解的 $\hat{C}=2/3,\hat{D}=1/2$

二、正交

标准正交

如果矩阵的列向量是相互垂直的单位向量，则他们一定是线性无关的，称这个向量为标准正交

上述条件可理解为任意向量q和其他q正交内积为0，和自身正交结果为1

标准正交矩阵

如果矩阵Q（可以不是方阵）的列向量为标准正交向量，则 $Q^{T}Q=T$ 为单位阵。

一个标准正交的方阵我们称之为“正交矩阵”。如果Q为方阵，因为 $Q^{T}Q=I$ ，所以 $Q^{T}=Q^{-1}$ 。

注意必须是方阵，必须是标准正交，而不只是正交。

标准正交列向量的优势

若Q的列向量为标准正交向量，则投影到Q的列空间的投影矩阵为： $P=Q(Q^{T}Q)^{-1}Q^{T}$ ,因为 $Q^{T}Q=I$ ，所以 $P=QQ^{T}$ ,这种情况会降低很多运算量。

如果Q为方阵，则P=I

很多复杂问题使用标准正交向量之后都变得简单。如果基为标准正交，则方程 $A^{T}A\hat{x}=A^{T}b$ 的解变为 $\hat{x}=Q^{T}b$ ， $\hat{x}$ 的分量 $\hat{x_{i}}$ 就等于 $q_{i}^{T}b$ 。

施密特正交化

从两个线性无关的向量a和b开始，它们张成了一个空间，我们的目标是希望找到两个标准正交的向量q1，q2能张成同样的空间。Schmidt给出的结论是如果我们有一组正交基A和B（注意这个小节A，B，C均为向量），那么我们令它们除以自己的长度就得到标准正交基：

这里理解成三维空间，因为a，b，c三个向量线性无关

（注意上面正体加粗A代表向量，斜体A代表矩阵，只是用的同一字母，不要搞混。A=QR是参考消元矩阵A=LU列的同类型式子，不是推导得来的，而是根据这个式子以及各向量关系反向知道了R为上三角阵）

为什么要施密特正交？

如何理解施密特（Schmidt）正交化 - 知乎 (zhihu.com)

观看该链接里面视频有助理解

在一个平面，或者三维空间中，任意一点都可以被坐标系表示出来。而我们更喜欢的是单位直角坐标系，因为在一个单位直角坐标系中，任意一个向量的坐标分量，通过简单的投影就可以搞定。因此，如何找到欧式空间的一个“直角坐标系”，变得非常重要。 施密特正交化法就告诉我们了一种把“任意坐标系”变为“直角坐标系”的方法。

加深对施密特正交理解观看下列习题视频

18 Gram-Schmidt正交化_哔哩哔哩_bilibili

线性代数——理解向(3)相关推荐

从线性代数理解余弦定理，三角不等式，A-G不等式和柯西-许瓦兹不等式
从线性代数理解余弦定理,三角不等式,A-G不等式和柯西-许瓦兹不等式向量的两种运算 scalar multiplication and addition,分别为数乘和加法.两种运算一起有个好听的名字 ...
线性代数——理解向（4）
麻省理工学院 - MIT - 线性代数(我愿称之为线性代数教程天花板)_哔哩哔哩_bilibili MIT-线性代数笔记00 - 知乎 (zhihu.com) 行列式的部分相关性质与知识点这里暂不描述 ...
用线性代数理解 Normal Equation
在之前的博客中,我们通过矩阵求导的方式推导了 normal equation.这篇博客中,我们将通过线性代数的角度再次回顾 normal equation. Normal Equation 解决的问题 ...
Neuroink人工智能合并
Ready to connect your mind to an AI? 准备将您的思想与AI连接起来吗? That future may be closer than you think. 那个未来 ...
线性代数：如何最通俗地理解矩阵的「秩」？
小时候老师总告诉我们「要有n个方程才能确定地解出n个未知数」--这句话其实是不严格的,如果你想确定地解出n个未知数,只有n个方程是不够的,这n方程还必须都是「干货」才行.从这个角度,初学者可以更好地理 ...
十分钟理解线性代数的本质_数学对于编程来说到底有多重要？来看看编程大佬眼里的线性代数！...
本文提出了一种观点:从应用的角度,我们可以把线性代数视为一门特定领域的程序语言.我们一起来看看!文章有点偏理论讨论,可能比较枯燥,对于一名程序员,你如果看下去,你将会有不一样的收获! 线性代数是什么? ...
线性代数线性相关与线性表示的理解
线性代数线性相关与线性表示的理解 https://www.zhihu.com/question/39326459/answer/452801233 首先,向量是仅有一行或者一列的特殊矩阵,我们将其每 ...
人工智能中的线性代数：如何理解并更好地应用它
选自TowardsDataScience 作者:Oleksii Kharkovyna机器之心编译参与:高璇.蛋酱线性代数是 AI 专家必须掌握的知识,这已不再是个秘密.如果不掌握应用数学这个领域,你 ...
形象理解线性代数（三）——列空间、零空间（核）、值域、特征值（特征向量）、矩阵与空间变换、矩阵的秩
这里,我们还是要以形象理解线性代数(一)--什么是线性变换?为基础.矩阵对向量的作用,可以理解为线性变换,同时也可以理解为空间的变换,即(m*n)的矩阵会把一个向量从m维空间变换到n维空间. 一.矩 ...

线性代数——理解向(3)