2.4 线性相关和张成空间

声明：该文章翻译自MIT出版的《DEEP LEARNING》，博主会定期更新文章内容。由于博主能力有限，中间有过错之处希望大家给予批评指正，一起学习交流。

为了使 A−1\boldsymbol{A^{-1}} 存在，等式 Ax=b\boldsymbol{Ax}=\boldsymbol{b} 对每个b\boldsymbol{b} 值有一个解。然而等式对某些 b\boldsymbol{b} 值可能没有解或有无限多个解。对某个 b\boldsymbol{b} 值不可能有几个解；如果 x\boldsymbol{x} 和 y\boldsymbol{y} 是解的话，那么

z=αx+(1−α)y

\boldsymbol{z}=\alpha\boldsymbol{x}+(1-\alpha)\boldsymbol{y} 也是一个解，其中 α\alpha 为实数。
为了分析等式解的个数，我们将矩阵 A\boldsymbol{A}的列看作是从原点（指定值全为零的向量）出发的不同方向。从这个角度看， x\boldsymbol{x} 每个元素指定了每个方向上需要的距离，例如： xix_i 指定了在 ii 列的方向上移动了多远：

Ax=∑ixiA:,i

\boldsymbol{Ax}=\sum_{i}x_i\boldsymbol{A_{:,i}} 一般这种运算叫做线性组合。正式地，向量 {v(1),...,v(n)}\{\boldsymbol{v^{(1)},...,v^{(n)}}\} 某些集合的线性组合可以通过给每个向量乘以一个标量系数并相加得到：

∑iciv(i)

\sum_{i}c_i\boldsymbol{v^{(i)}} 一个向量集合的张成空间是原始向量线性组合得到的所有点的集合。
所以确定 Ax=b\boldsymbol{Ax}=\boldsymbol{b} 是否有一个解等价于测试 b\boldsymbol{b} 是否在矩阵 A\boldsymbol{A} 列的张成空间中。
为了使 Ax=b\boldsymbol{Ax}=\boldsymbol{b} 对所有 b∈Rm\boldsymbol{b}\in {\rm R^m} 值都有一个解，我们需要 A\boldsymbol{A} 的列空间属于 Rm\rm R^m 。如果 Rm\rm R^m 中的任何一个点不在列空间里，这么这个点就是没有解的 b\boldsymbol{b} 值。这表明 A\boldsymbol{A} 至少有 mm 列，即 n≥mn\geq m 。否则，列空间的维数一定小于 mm 。例如：考虑一个 3×23\times2 矩阵。目标 b\boldsymbol{b} 是一个三维的，但是 x\boldsymbol{x} 仅仅是一个二维的，所以我们顶多可以修改的 x\boldsymbol{x} 值来画出 R3{\rm R^3} 里的一个二维平面。
n≥mn\geq m 是每个点有一个解的必要条件，不是充分条件，因为一些列可能是冗余的。考虑一个 2×22\times2 矩阵，两列彼此相等。它其实等价于一个 2×12\times1 矩阵。也就是说，列空间仅仅是一列，不能包含所有的 R2\rm R^2。
正式地，这种冗余叫做线性相关。如果一个向量集合中，每个向量都不是其它向量的线性组合，那么这个向量集合是线性无关的。如果我们增加一个向量到这个集合中，其中该向量是这个集合中其它向量的线性组合，那么新向量没有向集合的张成空间中增加任何点。这意味着为了让矩阵的列空间包含所有的 Rm\rm R^m ，这个矩阵至少包含一个集合，该集合有 mm 个线性无关列。这个条件是等式Ax=b\boldsymbol{Ax}=\boldsymbol{b} 对每个 b\boldsymbol{b} 有一个解的充分必要条件。注意，要求是对每个集合有 mm 个线性无关列，不是至少mm。 m−m-维向量的集合不会有超过 mm个的线性无关列，但是超过mm列的矩阵可能有多个这样的集合。
为了让矩阵有逆，我们还需要确保 Ax=b\boldsymbol{Ax}=\boldsymbol{b}对每个 b\boldsymbol{b}至多有一个解。为了实现这个，我们需要确保矩阵最多有 mm列。否则，就有多种参数化解（there is more than one way of parametrizing each solution）。
同时，这意味着矩阵必须是方阵，也就是说，我们需要m=nm=n 并且所有的列示线性无关的。线性相关的方阵叫做奇异的。
如果 A\boldsymbol{A}不是方阵或者说是方阵但是是奇异的，它依然可以解决等式。然而，我们不能用矩阵逆的方法来求解。
目前我们已经将矩阵逆乘在左边进行了讨论。也可以定义其乘在右边：

AA−1=I

\boldsymbol{AA^{-1}}=\boldsymbol{I}对于方阵，左逆和右逆是相等的。

2.4 线性相关和张成空间相关推荐

线性代数学习笔记2-1：向量和向量组、线性相关/线性无关（张成空间的概念）
向量何为向量向量由长度和方向唯一确定,应该理解为自由向量,与位置无关在数学中常规定向量的起点在原点,而在物理中称向量为矢量,也不再规定其起点位置向量的理解数学中,通过一个点的坐标,唯一给出一 ...
03 ，n 维向量，向量运算，向量组，向量组的线性组合，基，张成空间，向量组的线性相关性：
1 ,n 维向量 : 列向量行向量 : 列向量与行向量的关系 : 一回事 2 ,向量运算 : 加法运算运算 3 ,向量运算 : 数乘运算运算 4 ,向量组 : 定义 : 若干个同维数的向量组成的 ...
线性代数的本质（二）——线性组合、张成空间和基
基在讨论向量的时候,我们可以知道一个二维向量的两个分量代表一个箭头的终点坐标.但是我们还有一种更有趣的方式来看这些分量. 先看下面这个向量在xy坐标系中,有两个非常特殊的向量,分别就是在x轴正方向 ...
线性代数的本质——线性组合，张成空间和基
本文是对BiliBili上的一个系列视频的学习记录,非常推荐大家去B站上观看,记得三连,不要白嫖,链接:https://www.bilibili.com/video/av6731067/?p=2 上文 ...
线性代数_The span of those tow vector（两个向量的张成空间）
定义:The 'span' of v-hat and w-hat is the set of all their linear combiations 线性组合定义:两个向量标量乘法之和的结果被称为这 ...
【机器学习百科全书目录】PRML ESL MLAPP 西瓜书花书 RLAI 统计学习方法蒲公英书
文章目录机器学习百科全书目录 Pattern Recognition and Machine Learning The Elements of Statistical Learning (Secon ...
MIT线性代数笔记九线性无关，基和维度
向量的线性无关意味着什么?如何用线性无关的概念来帮助我们描述包括零空间在内的子空间. 首先我们需要注意的是,线性无关是针对向量组而言的,而不是对矩阵而言的. 重要概念:线性无关(线性相关) ...
线性代数1：向量、线性组合、张成的空间和基
课程地址:[官方双语/合集]线性代数的本质 - 系列合集目录一.什么是向量 1. 向量的表达方式 2. 向量的加法 3. 向量的数乘二.线性组合.张成的空间和基 1. 坐标系的基 2. 线性组合 ...
【线性代数的本质|笔记】线性组合、张成的空间、基
向量组&线性组合&线性相关性&向量空间讲到向量组的时候往往要等价类比向量空间的相关概念与描述,这一块的知识串联得特别紧密,遂先整理如下. <线性代数的本质>视频中 ...

2.4 线性相关和张成空间

2.4 线性相关和张成空间相关推荐

最新文章

热门文章