线性代数学习笔记（一）：线性空间的理解

线性空间和线性变换的学习，首先要建立宏观的思想，并一直用这种思想去思考问题，一步一步真正理解每个概念的含义和知识间的成因关系。
对于线性空间和线性变换的学习，我用来更好的理解矩阵—它到底为什么这样以及这样做有什么意义。建立这种宏观的思想，指导以后的工作。

文章目录

线性代数学习笔记（一）：线性空间的理解
- 一、线性代数概述
- 二、矩阵乘法
- 三、线性空间
- - 3.1. 线性空间的定义
  - 3.2. 线性相关与线性无关
  - - 3.2.1. 初等变换
    - 3.2.2. 定义线性相关
    - 3.2.3. 定义线性无关
    - 3.2.4. 最大线性无关组— 线性相关→\to→线性无关
- 四、常见的线性空间
- - 4.1. 对偶空间
  - 4.2. 欧氏空间与闵氏空间
  - - 4.2.1 欧氏空间
    - 4.2.2 闵氏空间
- 五、线性变换的理解
- 六、矩阵的理解

一、线性代数概述

“只要不是线性的东西，我们基本上都不会”
“非线性问题对人类来说极为困难”
常见的思想：将非线性转换成线性。

二、矩阵乘法

矩阵乘法：

m∗n的矩阵Am∗n乘以n∗k的矩阵Bn∗k得到新的矩阵C，是一个m∗k大小的矩阵。m*n的矩阵A_{m*n}乘以 n*k 的矩阵B_{n*k}得到新的矩阵C，是一个m*k大小的矩阵。m∗n的矩阵Am∗n乘以n∗k的矩阵Bn∗k得到新的矩阵C，是一个m∗k大小的矩阵。
Cij=∑a=1nAia∗BajC_{ij}=\displaystyle\sum_{a=1}^{n} A_{ia}*B_{aj}Cij=a=1∑nAia∗Baj

矩阵乘法运算：

结合律成立：(AB)C=A(BC)(AB)C=A(BC)(AB)C=A(BC)
数乘运算：Am∗n=k∗Bm∗n，则Aij=k∗BijA_{m*n}=k*B_{m*n}，则A_{ij}=k*B_{ij}Am∗n=k∗Bm∗n，则Aij=k∗Bij
交换律不成立：BA≠ABBA≠ABBA=AB

矩阵运算构成环。
矩阵运算是封闭的！

那如何理解矩阵呢？
从线性空间的角度去思考：

矩阵是线性空间中的线性变换。

了解了矩阵乘法和加法等运算的定义后，有助于线性空间的定义和理解。

三、线性空间

3.1. 线性空间的定义

线性空间是整个线性变换的基础。对线性空间的理解十分重要。
线性空间：一个集合配上一个数域，对空间中元素(向量)的“加法”和“数乘运算”做约束，形成如下八条法则。

设V是一个非空集合，它的元素用x⃗、y⃗\vec x、\vec yx、y表示。K是一个数域，它的元素用k、m、lk、m、lk、m、l表示。若集合V满足如下条件：
(a) V中定义一个加法运算，即当x⃗、y⃗∈V\vec x、\vec y \in Vx、y∈V时，有唯一的x⃗+y⃗∈V\vec x+\vec y \in Vx+y∈V，（集合上加法满足封闭性），且向量加法满足如下:
1)(x⃗+y⃗)+z⃗=x⃗+(y⃗+z⃗)(\vec x+\vec y)+\vec z=\vec x+(\vec y+\vec z)(x+y)+z=x+(y+z) -结合律
2)x⃗+y⃗=y⃗+x⃗\vec x+\vec y=\vec y+\vec xx+y=y+x -交换律
3)∃0⃗，使得0⃗+x⃗=x⃗\exist\vec 0，使得\vec 0+\vec x=\vec x∃0，使得0+x=x -零元
4)∀x⃗，∃y⃗，使得x⃗+y⃗=0⃗\forall \vec x，\exist\vec y，使得\vec x+\vec y=\vec0∀x，∃y，使得x+y=0 -负元
(b) 在V上定义数乘运算，即当x⃗∈V，k∈K\vec x\in V，k\in Kx∈V，k∈K时，有唯一的kx⃗∈Vk\vec x \in Vkx∈V，（集合上数乘满足封闭性），且数乘满足如下:
5)k(x⃗+y⃗)=kx⃗+ky⃗k(\vec x+\vec y)=k\vec x+k\vec yk(x+y)=kx+ky -分配律
6)(k+l)x⃗=ky⃗+lx⃗(k+l)\vec x=k\vec y+l\vec x(k+l)x=ky+lx -分配律
7)k(lx⃗)=(kl)x⃗k(l\vec x)=(kl)\vec xk(lx)=(kl)x -结合律
8)1x⃗=x⃗1\vec x=\vec x1x=x -数乘单位元

从集合到线性空间
（用集合的观点描述数学概念）
线性空间首先是一个集合，这个集合需要配有一个数域（实数域、复数域、有理数域等），且这个集合中的每个元素都是一个向量。
eg: 非常规的线性空间—函数空间：

(重新审视八条定义)

3.2. 线性相关与线性无关

回忆高中时候学习的三维空间中，我们常常以e⃗x、e⃗y、e⃗z\vec e_x、\vec e_y、\vec e_zex、ey、ez为三个基底，使得三维空间中任何一个向量α⃗\vec \alphaα都可以被表示: α⃗\vec \alphaα=ae⃗x+be⃗y+ce⃗za\vec e_x+b\vec e_y+c\vec e_zaex+bey+cez。
— 矢量展开→\to→线性表出

3.2.1. 初等变换

任何一个混乱矩阵都能通过初等变换得到一个上三角矩阵或下三角矩阵。
通过初等变换，可以很容易得到矩阵的秩。
（初等变换不会改变矩阵的秩）。

如图示：

- 初等变换的规则：

（1）对调某两行/列；
（2）对某行/列乘以系数k；
（3）对某一行/列加上(减去)某一行/列的k倍。
使之变成一个上三角矩阵或下三角矩阵。

利用初定变换的规则，我们可以求出一个矩阵的最大线性无关组，最终目的是引出对“秩”的理解和定义。

3.2.2. 定义线性相关

三维空间中，有向量e⃗x、e⃗y、e⃗z，∃\vec e_x、\vec e_y、\vec e_z，\existex、ey、ez，∃系数a1、a2、a3a_1、a_2、a_3a1、a2、a3，且不全为0，使得 a1e⃗x+a2e⃗y+a3e⃗z=0a_1\vec e_x+a_2\vec e_y+a_3\vec e_z=0a1ex+a2ey+a3ez=0，则说明e⃗x、e⃗y、e⃗z\vec e_x、\vec e_y、\vec e_zex、ey、ez线性相关。
线性空间中，∃\exist∃系数a1、a2、a3、...ana_1、a_2、a_3、...a_na1、a2、a3、...an，且不全为0，使得 a1e⃗x+a2e⃗y+...+ane⃗k=0a_1\vec e_x+a_2\vec e_y+...+a_n\vec e_k=0a1ex+a2ey+...+anek=0，则说明e⃗x、e⃗y、...、e⃗k\vec e_x、\vec e_y、...、\vec e_kex、ey、...、ek线性相关。

线性相关说明基向量中有多余，存在冗余信息。

eg:
假设三维空间中，已知e⃗x、e⃗y、e⃗z\vec e_x、\vec e_y、\vec e_zex、ey、ez线性相关，若α⃗\vec \alphaα能用e⃗x、e⃗y、e⃗z\vec e_x、\vec e_y、\vec e_zex、ey、ez表出，则：
α⃗\vec \alphaα = 1e⃗x+2e⃗y+3e⃗z1\vec e_x+2\vec e_y+3\vec e_z1ex+2ey+3ez
α⃗\vec \alphaα = (1+a)e⃗x+(2+b)e⃗y+(3+c)e⃗z(1+a)\vec e_x+(2+b)\vec e_y+(3+c)\vec e_z(1+a)ex+(2+b)ey+(3+c)ez
可看出α⃗\vec \alphaα的表示方式不唯一，说明三个基向量中有冗余。

3.2.3. 定义线性无关

三维空间中，有向量e⃗x、e⃗y、e⃗z，\vec e_x、\vec e_y、\vec e_z，ex、ey、ez，不 ∃\exist∃系数a1、a2、a3a_1、a_2、a_3a1、a2、a3(不全为0)，使得 a1e⃗x+a2e⃗y+a3e⃗z=0a_1\vec e_x+a_2\vec e_y+a_3\vec e_z=0a1ex+a2ey+a3ez=0，则说明e⃗x、e⃗y、e⃗z\vec e_x、\vec e_y、\vec e_zex、ey、ez线性无关。
线性空间中，不 ∃\exist∃系数a1、a2、a3、...ana_1、a_2、a_3、...a_na1、a2、a3、...an(不全为0)，使得 a1e⃗x+a2e⃗y+...+ane⃗k=0a_1\vec e_x+a_2\vec e_y+...+a_n\vec e_k=0a1ex+a2ey+...+anek=0，则说明e⃗x、e⃗y、...、e⃗k\vec e_x、\vec e_y、...、\vec e_kex、ey、...、ek线性无关。

也即是说只有当系数全为0时，才能使得等式成立。
线性无关下，向量才能被是唯一的表出。

3.2.4. 最大线性无关组— 线性相关→\to→线性无关

a) 向量中的最大线性无关组

假设对一组基底a⃗1、a⃗2、...、a⃗n\vec a_1、\vec a_2、...、\vec a_na1、a2、...、an线性相关，存在一组系数k1、k2、...、knk_1、k_2、...、k_nk1、k2、...、kn且不全为0，则有：
k1a⃗1+k2a⃗2+...+kna⃗n=0k_1\vec a_1+k_2\vec a_2+...+k_n\vec a_n=0k1a1+k2a2+...+knan=0 成立。
此时，对于某个不为0的系数kik_iki，则a⃗i\vec a_iai可表示为：
a⃗i=k1a⃗1+k2a⃗2+...+ki−1a⃗i−1+ki+1a⃗i+1+...+kna⃗nki\vec a_i=\frac{k_1\vec a_1+k_2\vec a_2+...+k_{i-1}\vec a_{i-1}+k_{i+1}\vec a_{i+1}+...+k_{n}\vec a_{n}}{k_i}ai=kik1a1+k2a2+...+ki−1ai−1+ki+1ai+1+...+knan
扣除a⃗i\vec a_iai，…反复扣除，
直到剩下的基底a⃗k(1)、a⃗k(2)、...、a⃗k(s)\vec a_{k(1)}、\vec a_{k(2)}、...、\vec a_{k(s)}ak(1)、ak(2)、...、ak(s)线性无关。

‘s’是一个重要的数字，代表着最大线性无关组的元素个数，即是秩-rank(M)。
矩阵中“秩”的概念，就是从线性空间的线性相关和线性无关的概念中得到的。
（不区分行秩和列秩）

b) 矩阵中的最大线性无关组
对于矩阵Mn∗mM_{n*m}Mn∗m：
α⃗1\vec \alpha_1α1 α⃗2\vec \alpha_2α2 α⃗3\vec \alpha_3α3
∣\ | ∣ ∣\ | ∣ ∣\ | ∣
[a1b1c1...a2b2c2...............anbncn...](1)\left[ \begin{matrix} a1& b1 & c1 &...\\ a2 & b2 & c2 &...\\ ... & ... & ... &...\\ a_n & b_n & c_n &... \end{matrix} \right] \tag{1} ⎣⎢⎢⎡a1a2...anb1b2...bnc1c2...cn............⎦⎥⎥⎤(1)
其中，α⃗k\vec \alpha_kαk代表列向量，等于：
[l1l2...ln](2)\left[ \begin{matrix} l_1\\ l_2 \\ ... \\ l_n \end{matrix} \right] \tag{2} ⎣⎢⎢⎡l1l2...ln⎦⎥⎥⎤(2)
则M的秩等于{α⃗1\vec \alpha_1α1,α⃗2\vec \alpha_2α2,…,α⃗m\vec \alpha_mαm}的最大线性无关组的元素个数。

四、常见的线性空间

满足上述八条规则。

4.1. 对偶空间

对偶空间是线性空间。
对偶空间V∗V^*V∗基于某一线性空间VVV延伸。
将线性空间中的VVV所有向量映射到实数空间：v⃗∈V→v∗R\vec v∈V \to^{v^*} \Rv∈V→v∗R 中的线性映射是对偶空间中的一个向量，把所有的线性映射放到一起，构成对偶空间。
行向量可以当做是列向量的线性映射。

线性空间经过对偶得到对偶空间，对偶空间再对偶又回到原线性空间。

4.2. 欧氏空间与闵氏空间

4.2.1 欧氏空间

欧氏空间是线性空间。
定义在Rn\R^nRn上，v⃗=(k1,k2,...,kn)\vec v=(k_1,k_2,...,k_n)v=(k1,k2,...,kn)。
欧氏空间的特殊运算：
（1）内积
（2）模长
（3）夹角

4.2.2 闵氏空间

闵氏空间是线性空间，欧氏空间上一点小变化产生。
与欧氏空间的不同点在内积运算上。

是对客观物理世界更好的描述方式。

五、线性变换的理解

详见：线性代数学习笔记（二）：线性变换的理解

六、矩阵的理解

详见：
线性代数学习笔记（三）：矩阵的理解之— 矩阵的秩与行列式

线性代数学习笔记（四）：矩阵的理解之— 矩阵的特征值与特征向量

线性代数学习笔记（五）：矩阵的理解之— 线性代数核心定理