向量投影和最小二乘法

1. 向量的投影

问题1: 某个向量b=(2,3,4)b=(2,3,4)b=(2,3,4)投影到z轴或者xy平面, 投影的结果长什么样子?
问题2: 什么样的矩阵能够把向量bbb投影到一条线或者一个平面?

定义: bbb在线上的投影属于该条线, bbb在平面上的投影属于该平面. 投影结果p=Pbp=Pbp=Pb. 其中PPP为投影矩阵.
投影问题的定义: bbb向AAA的列空间进行投影. AAA是mxn的矩阵.

1.1 向量在向量上的投影

error e=b−x^ae = b - \widehat{x}ae=b−xa, x^\widehat{x}x是某个系数, 使得bbb在aaa上的投影p=x^ap = \widehat{x}ap=xa.
根据投影中的关键性质: 正交性质. 可得aaa和误差eee正交, 即:
a⋅p=0a \cdot p = 0a⋅p=0 ⇔\Leftrightarrow⇔ a⋅(b−x^a)=0a \cdot (b - \widehat{x}a) = 0a⋅(b−xa)=0, 推出 x^=a⋅ba⋅a=aTbaTa\widehat{x} = \frac{a \cdot b}{a \cdot a} = \frac{a^T b}{a^T a}x=a⋅aa⋅b=aTaaTb
∴\therefore∴ 投影p=x^a=ax^=aaTbaTa=a⋅aTaTab=Pbp = \widehat{x}a = a \widehat{x} = a\frac{a^T b}{a^T a} = \frac{a \cdot a^T}{a^T a}b = Pbp=xa=ax=aaTaaTb=aTaa⋅aTb=Pb
定义投影矩阵P=a⋅aTaTaP = \frac{a \cdot a^T}{a^T a}P=aTaa⋅aT.

1.2 向量在空间上的投影

定义空间S由n个线性无关的向量张成. A=[a1,a2,...,an],a1,a2,...,an⊂RmA = [a_1, a_2, ... , a_n], a_1, a_2, ... , a_n \subset \mathbb{R}^mA=[a1,a2,...,an],a1,a2,...,an⊂Rm
向量b⊂Rmb \subset \mathbb{R}^mb⊂Rm 在A的列空间上的投影结果记为:

p=x1^a1+x2^a2+...+xn^an=Ax^p = \widehat{x_1}a_1 + \widehat{x_2}a_2 + ... + \widehat{x_n}a_n = A \widehat{x} p=x1a1+x2a2+...+xnan=Ax

同理, 根据投影的正交性质, 被投影的空间AAA和误差e=b−pe = b - pe=b−p是正交的. 即误差向量eee和AAA的列空间中的每一个列向量都正交, 二者之间的内积为0, 因此有如下关系:

a1T(b−Ax^)=0a2T(b−Ax^)=0...anT(b−Ax^)=0\begin{matrix} \\ a_1^T(b - A \widehat{x}) = 0 \\ a_2^T(b - A \widehat{x}) = 0 \\ ... \\ a_n^T(b - A \widehat{x}) = 0 \end{matrix} a1T(b−Ax)=0a2T(b−Ax)=0...anT(b−Ax)=0

等价于:

AT(b−Ax^)=0⇔ATAx^=ATbA^T(b - A \widehat{x}) = 0 \Leftrightarrow A^TA\widehat{x} = A^Tb AT(b−Ax)=0⇔ATAx=ATb

右边的这个方程称之为法线方程.
注意:
ATAA^TAATA是一个对称矩阵,大小为nxn, 因为A的所有n个列向量是线性无关的, 所以ATAA^TAATA是可逆的.
∴\therefore∴ 可以求解得到投影结果p=Ax^=A(ATA)−1ATb=Pbp = A\widehat{x} = A(A^TA)^{-1}A^Tb = Pbp=Ax=A(ATA)−1ATb=Pb
定义投影矩阵P=A(ATA)−1ATP = A (A^TA)^{-1}A^TP=A(ATA)−1AT.

如此可以看出, 当被投影的空间退化成一个列向量时, 即得到了1.1中的向量投影到向量的结论.

2. 最小二乘法

问题的引出: 线性方程组Ax=bAx=bAx=b通常没有解, 因为行数比列数大很多, 即方程数量很多, 但是变量维度不高. 导致向量bbb不在AAA的列空间中.
e=b−Axe = b - Axe=b−Ax通常无法趋近于000, 但是只要eee足够小, 那么认为使得eee足够小的解x^\widehat{x}x是最小二乘解.
如正交投影所述, 前面强调投影结果ppp的计算, 在最小二乘法部分, 强调最小二乘解x^\widehat{x}x的计算. 二者之间的关系为:

p=Axp = Ax p=Ax

最小二乘解的求解方程:

ATAx^=ATbA^TA\widehat{x} = A^Tb ATAx=ATb

2.1 最小化误差

三个角度去做这个事情:

(1) 几何的角度:
正交投影的概念, 在AAA的列空间中寻找一点, 使得该点和bbb最靠近. 通过上面的介绍, 我们可以知道这一点就是投影向量ppp表示的点.
(2) 代数的角度:
Ax=b=p+eAx = b = p + eAx=b=p+e不可解, 但是Ax^=pA\widehat{x} = pAx=p可以解.
于是有: ∥Ax−b∥2=∥Ax−p∥2+∥e∥2\left \| Ax - b \right \|^2 = \left \| Ax - p \right \|^2 + \left \| e \right \|^2∥Ax−b∥2=∥Ax−p∥2+∥e∥2
求x^\widehat{x}x使得E=∥Ax−b∥2E = \left \| Ax - b \right \|^2E=∥Ax−b∥2尽可能小.
(3) 微分的角度

2.2 直线和抛物线的拟合

略

3. 参考资料

[1] Strang G, Strang G, Strang G, et al. Introduction to linear algebra[M]. Wellesley, MA: Wellesley-Cambridge Press, 1993.

数学漫游 - 向量投影和最小二乘法相关推荐

压缩感知中的数学知识：投影矩阵（projection matrix）
题目:压缩感知中的数学知识:投影矩阵(projection matrix) ========================背景======================== 关注于投影矩阵主要是看 ...
线性代数笔记3：向量投影
向量投影是线性代数中很重要的应用,用于找到向量到目标投影空间的投影向量.这是下一节线性回归的基础. Ax=bAx=bAx=b有解时当计算线性方程组Ax=bAx=bAx=b 有解时, bbb就在C(A ...
如何将一个向量投影到一个平面上_MIT—线性代数笔记15 子空间投影
第15讲子空间投影 Projections onto subspaces 网易公开课open.163.com 投影(射影)Projections 投影问题的几何解释就是:如何在向量a的方向上寻找与 ...
如何将一个向量投影到一个平面上_线性代数笔记（15-16）投影、投影矩阵和最小二乘...
投影(Projection) 上图为二维平面的投影.其中p是b在a方向上的投影,则有: (1) (2) (3) (正交) 因此可得进而可得 (P为矩阵:Ax=b的形式,bp均为向量,则A为矩阵) 其 ...
已知法向量，某一向量投影到其平面，计算投影向量
最近一直在计算旋转矩阵,奈何高中数学实在是差,大学高等数学也不行,线性代数也不行,现在做起研究来真是要了我这个秃头粥的老命.只能边学习边应用了. 第一个:对某一向量进行旋转平移,等于是在其左边乘了一个 ...
如何将一个向量投影到一个平面上_线性代数19——投影矩阵和最小二乘
一维空间的投影矩阵先来看一维空间内向量的投影: 向量p是b在a上的投影,也称为b在a上的分量,可以用b乘以a方向的单位向量来计算,现在,我们打算尝试用更"贴近"线性代数的方式表达 ...
投影向量=投影长度乘以单位向量
得出结论长度乘以一个向量等于一个向量(投影长度乘以单位向量等于投影向量)
【Computer Graphics】向量投影
向量投影如上图,求向量P在向量Q上的投影,计算方法如下: 将向量P当做直角三角形的斜边,那么投影大小就是直接求比较麻烦,据公式可得: 则: 即投影大小等于: 投影方向与向量Q平行,求向量Q的单位矢 ...
高中补习数学:平面向量、复数、算法初步
高中补习数学:平面向量.复数.算法初步(有电子完整版)私信领取. 今天高中补习数学:平面向量.复数.算法初步分享就到这里了,关注高中数学肖博老师为大家分享更多高中数学知识点和视频教程.

数学漫游 - 向量投影和最小二乘法

文章目录