3blue1brown线性代数的本质笔记

3blue1brown线性代数的本质视频

1.向量究竟是什么?

2.线性组合、张成空间与基

3.矩阵与线性变换

4.矩阵乘法与线性变换复合

5、行列式

6、逆矩阵、列空间和零空间

7、点积与对偶性

8、第一部分—叉积的标准介绍

8、第二部分：以线性变换的眼光看叉积

9、基变换

10、特征向量与特征值

11、抽象向量空间

1.向量究竟是什么?

向量的三种理解：
        物理系：向量是一个矢量（arrows pointing in space）, 或者说是一个在空间中有指向的箭头，定义这个向量，需要它的长度以及它指向的方向两个方面。在平面上的向量是二维的，在空间中的向量是三维的。
        计算机系：向量是ordered lists，并且在这些lists中存放的内容是numbers。
        数学系： a vector can be anything

向量的几何意义：不同于物理，在线代的领域里，把vector放在一个坐标系中，比如xy坐标系，其出发点在原点。

向量加法的几何意义：遵循三角形法则。

为什么这样定义呢？如果将每个向量看作一种特定的运动，即向空间中某个方向迈出一定距离。若先沿着第一个向量方向移动，再沿着第二个向量方向移动，总体效果与沿着这两个向量和运动无异。

向量乘法的几何意义：乘以大于1的数值，就是将这个向量拉伸；乘以小于1的数值，就是将这个向量压缩；乘以负数，就是将这个向量翻转。拉伸，压缩，翻转向量的行为，统称为缩放（scaling），而这些数值本身，称之为标量（scalars）。

2.线性组合、张成空间与基

把这里的3和-2都看作是一个标量，它们对原点的单位向量i和j进行缩放于是，该(3,-2)向量就变成了两个缩放过的单位向量的和。

i和j是xy坐标系中的基向量（basis vectors）；其实也可以选择不同的basis vectors，比如说在平面上任意的两个向量作为基，这样得到的标量的数值是不相同的，但是同样可以通过对这一对任意选择的基向量进行线性组合（linear combination），而得到在平面上的任意向量。

基的严格定义：向量空间的一组基是张成该空间的一个线性无关的向量集。（The basis of a vector space is a set of linearly independent vectors that span the full spaces.）

· 线性组合（Linear Combination）：其实是向量之间的线性组合，其主体是向量，线性组合是一个操作，将各个向量scaling之后，相加在一起，就得到了参与操作的向量之间的一个Linear Combination。
        线性组合的不同情况：
        如果参与组合的一对向量不共线，那么由它们进行线性组合所得到的向量可以达到平面上的任意一个点；
        如果参与组合的一对向量共线，那么由它们进行线性组合所得到的向量的终点被限制在一条通过原点的直线上

如果参与组合的一对向量都是零向量，那么由它们进行线性组合所得到的向量永远是零向量
张成空间 : 是一组集合，它包含两个向量之间的全部线性组合。

三维空间中，两个不共线的向量之间的span，也就是它们全部线性组合的集合，是一个由这两个向量所张成的平面。

如果在三维空间中，有3个向量，其中有2个共线，那么它们3者之间的线性组合所形成的set，只是三维空间中的一个平面，其中有一个向量是多余的(redundant)，因为它没有对张成空间做出贡献。而这两个共线的向量被称之为线性相关（Linearly dependent）

另一种方法

线性无关（Linearly independent）的两个向量，不能通过scaling得到对方，其在平面上的几何意义是不共线

3.矩阵与线性变换

“变换”本质上是“函数”的一种花哨的说法，函数接受输入内容，并输出对应结果。特别地，在线性代数的情况下，我们考虑的是接受一个向量并输出一个向量的变换。“变换”这一词暗示了以特定方式来可视化这一输入-输出关系。

一种理解“向量的函数”的方法是使用运动（因为将向量看作箭头时，同时考虑所有向量会显得非常拥挤，故将每个向量看作它的终点，其起点必须在原点上，而不是一个箭头）

变换可以是多种多样的，但是我们只研究一种特殊的变换——线性变换。

Linear transformations的两大特点

经过变换之后：

所有的直线还是直线
原点还在原来的位置
借助基向量的变换，可以理解整个空间的线性变换

通常我们将这些坐标包装在一个2X2的格子中，称为矩阵。

把它抽象化之后，则得到了矩阵乘法的运算公式，并且还可见其几何意义

假如变换之后的向量是线性相关的，那么所有平面上的点在变换之后就被压缩到了一条直线上

4.矩阵乘法与线性变换复合

描述一个变换后再进行一个变换，这个新的线性变换称为前两个独立变换的“复合变换”。

矩阵乘法的几何意义（从又往左读，它起源于函数的记号，因为将函数写在变量的左侧）

5、行列式

线性变换改变的比例被称为这个变换的行列式。

二阶行列式可看做平行四边形的面积，正负号表示取向
三阶行列式可简单看做平行六面体的体积，正负号可用右手定则判断
行列式为0，矩阵必然线性相关

二阶方阵的行列式的计算

6、逆矩阵、列空间和零空间

这一节我们要透过线性变换来了解逆矩阵、列空间、秩和零空间的概念。
首先说一说线性代数的有用之处，目前你已经体会到它能用来描述对空间的操纵，这对计算机图形学和机器人学很有用。但线代被广泛应用的一个主要原因是它能帮助我们求解特定的方程组。
方程组是说有一系列未知量和一系列与之相关的方程。大部分情况下，这些方程会显得非常复杂，但如果幸运的话，它们可能具有一个特定的形式。在每个方程中，所有的未知量只具有常系数。这些未知量之间只进行加和，也就是说没有幂次，没有奇怪的函数，没有未知量间的乘积等等。

要整理这一特定的方程组，一个典型的方法是将未知量放在等号左边，剩余的常数项放在等号右边，并且将同一个未知量竖直对齐，要做的这一点，可能要在某个未知量不出现时添加0这个系数，这就被称为线性方程组。

这与矩阵向量乘法非常相似，实际上，你可以将所有的方程合并为一个向量方程，包含所有常数系数的矩阵A、一个包含所有未知量的向量x以及它们乘积所得到的一个常数向量v。

矩阵A代表一种线性变换，所以求解Ax=v意味着我们去寻找一个向量x，使得它在变换后与v重合。

先举一个简单的例子，你有两个方程和两个未知量构成的方程组，意味着A是一个2×2的矩阵，v和x都是二维向量。现在这个方程的解依赖于矩阵A所代表的变换是将空间挤压到一条线或一个点等低维空间（降维，行列式为零），还是保持像初始状态一样的完整二维空间（保持空间为二维，行列式不为零）。

先来看看行列式不为零的情况，此时空间并未被挤压为零面积的区域，在这种情况下，有且仅有一个向量（在变换后）与V重合，并且你可以通过逆向进行变换来找到这个向量。如同倒带一样，通过跟踪v 的动向，你就能找到满足Ax=v的向量x，当你逆向进行变换时，它实际上对应了另一个线性变换，通常被称为“A的逆”，记为A^(-1)。比如说，如果A是逆时针旋转90度的变换，那么A的逆就是顺时针旋转90度的变换。如果A向右剪切的变换，将j帽向右移动一个单位，A的逆就是向左剪切的变换，将j帽向左移动一个单位。

总的来说，A逆是满足以下性质的唯一变换：它首先应用A代表的变换，再应用A逆代表的变换，会回到原始状态。两个变换相继作用在代数上体现为矩阵乘法，所以A逆的核心性质在于，A逆乘以A等于一个“什么都不做”的矩阵，这个什么都不做的变换被称为“恒等变换”。它保持i帽和j帽不变，所以它的列就是（1,0）和（0,1）。

一旦你找到了A的逆（实践中你可以用计算机完成），你就能在两边同乘A的逆矩阵来求解向量方程。这个过程在几何上就对应于逆向进行变换并跟踪v的动向。

当方程数目与未知量数目相同时，这一思想在高维情况下也有意义，同样地可以给方程组赋予几何意义。也就是线性变换A，某个向量v，并且你在寻找向量x，在变换后与v重合。只要变换A不将空间压缩到一个更低的维度上（行列式不为零），那它就存在逆变换——A逆，使得应用A变换再应用A逆变换之后，结果与恒等变换无异。想要求解方程，你只需要将A逆与向量v相乘即可。

但是当行列式为零时，与这个方程组相关的变换将空间压缩到更低的维度上，此时没有逆变换，你不能将一条线解压缩为一个平面，至少这不是一个函数能做的，这样就会要求将一个单独的向量变换为一整条线的向量，但是函数只能将一个输入变换为一个输出。类似地，对于三个方程和三个未知量，如果变换将三维空间压缩为一个平面，甚至是一条直线或一个点，那么他也没有逆变换。它们都对应行列式为零的情况，因为此时所有区域都被压缩到零体积。即使不存在逆变换，解仍然可能存在。比如说，一个变换将空间压缩为一条直线，你得足够幸运，让向量v恰好处于这条直线上。

一个3×3的矩阵，当它将空间压缩为一条直线时，与平面相比，解存在的难度更高了，即使这两种情况下行列式均为零。除了行列式之外，我们还有特定术语来描述它们，当变换的结果为一条直线时，也就是说结果是一维的，我们称这个变换的秩为1，如果变换后的向量落在某个二维平面上，我们称这个变换的秩为2。所以说，秩代表着变换后空间的维数。比如说对于2×2的矩阵，它的秩最大为2，意味着基向量仍旧能张成整个二维空间，并且矩阵的行列式不为零。但是对于3×3的矩阵，秩为2意味着空间被压缩了，但是和秩为1的情况相比，压缩并不是那么严重。如果一个三维变换的行列式不为零，变换结果仍旧充满整个三维空间，那么它的秩为3。
不管是一条直线、一个平面还是三维空间等，所有可能的变换结果的集合，被称为矩阵的“列空间”。矩阵的列告诉你基向量变换后的位置，这些变换后的基向量张成的空间就是所有可能的变换结果。换句话说，列空间就是矩阵的列所张成的空间，所以更精确的秩的定义是列空间的维数。当秩达到最大值时，意味着秩与列数相等，我们称之为满秩。

注意，零向量一定会被包含在列空间中，因为线性变换必须保持原点位置不变。对于一个满秩变换来说，唯一能在变换后落在原点的就是零向量自身。
但是对于一个非满秩的矩阵来说，它将空间压缩到一个更低的维度上，也就是说会有一系列向量在变换后成为零向量（直线降维为点）。举个例子，如果一个二维线性变换将空间压缩到一条直线上（降维），那么沿不同方向直线上的所有向量就被压缩到原点。如果一个三维线性变换将空间压缩到一个平面上，同样也会有一整条线上的向量在变换后落在原点。如果一个三维线性变换将空间压缩到一条直线上，那么就有一整个平面上的向量在变换后落在原点。

变换后落在原点的向量的集合，被称为矩阵的零空间或核。变换后一些向量落在零向量上，而“零空间”正是这些向量所构成的空间。对线性方程组来说，当向量v恰好为零向量时，零空间给出的就是这个向量方程所有可能的解。

以上就是从几何角度理解线性方程组的一个高水平概述。复习一下本节内容：每个方程组都有一个线性变换与之联系。当逆变换存在时，你就能用这个逆变换求解方程组。否则，列空间的概念让我们清楚什么时候存在解，零空间的概念有助于我们理解所有可能的解的集合是什么样的。

附：非方阵
之前所讨论的线性变换，要么是用2×2矩阵来表示的二维向量到二维向量的变换，要么是用3×3矩阵来表示的三维向量到三维向量的变换，接下来我们花些时间来说说非方阵的几何含义。
讨论不同维数之间的变换是完全合理的，比如一个二维向量到三维向量的变换。

同之前一样，如果网线格保持平行且等距分布，并且原点映射为自身，就称它是线性的。如图，左侧为二维输入空间，右侧为三维输出空间。

输入的二维向量与输出的三维向量是完全不同的“物种”，它们生活在没有任何关联的空间当中，用矩阵代表这样一个变换则和之前的方法相同，找到每个基向量变换后的位置，然后把变换后基向量的坐标作为矩阵的列。比如说，一个变换后将i帽变换到坐标（2，-1，-2），j帽变换到坐标（0,1,1），注意，这个矩阵是三行两列的，用术语说，这是一个3×2矩阵。

这个矩阵的列空间是三维空间中一个过原点的二维平面，但是这个矩阵仍然是满秩的，因为列空间的维数与输入空间的维数相等。所以当你看到一个3×2矩阵的时候，你就明白它的几何意义是将二维空间映射到三维空间上。因为矩阵有两列表明输入空间有两个基向量，有三行表明每一个基向量再变换后都用三个独立的坐标来描述。
类似的，当你看法哦一个两行三列的2×3矩阵时，你觉得它代表什么？

矩阵有三列表明原始空间有三个基向量，也就是说原始空间是三维的，有两行表明这三个基向量在变换后都仅用两个坐标来描述，所以它们一定落在二维空间中，因此这是一个从三维空间到二维空间的变换。

7、点积与对偶性

如果你有两个维数相同的向量，或是两个长度相同的数组，求它们的点积，就是将相应坐标配对，每求出一对坐标的乘积，然后将结果相加，所以向量（1,2）点乘向量（3,4）的结果为1×3＋2×4。

幸运的是，这个计算有一个优美的几何解释，要求两个向量v和w的点积，想象将向量w朝着过原点和向量v终点的直线上投影，将投影的长度与向量v的长度相乘。

除非w与v的方向相反，这种情况下点积为负值。所以当两个向量的指向大致相同时，它们的点积为正，当它们垂直时，意味着一个向量在另外一个向量上的投影为零向量，它们的点积为零。而当它们的指向基本相反时，它们的点积为负。

        点积与顺序无关，你也可以将向量v投影在原点和w向量的确定的直线上。
        下面从直观上说说为什么点积与顺序无关？
        如果v 和w的长度恰好相同，我们可以利用其中的对称性，因为w向v上投影，并将w的投影长度与v的长度相乘，和v向w上投影，并将投影长度与w的长度相乘互为镜像。如果现在你将其中一个缩放若干倍，比如将v变成两倍，使得它们的长度不同，对称性就破坏了，但是我们可以这样解读新向量2v和w的点积。如果你认为w 向v上投影，那么2v点乘w就应该恰好是v点乘w的2倍。这是因为，将v放大为原来的两倍并不改变w的投影长度，但是被投影的向量长度变为原来的两倍。另一方面，假设你将v投影到w上，我们将v变为原来的两倍，这次是投影的长度变为原来的两倍，但是被投影的向量长度保持不变，所以总体效果仍然是点积变为两倍。所以说即使这种情况下对称性被破坏了，在两种理解方式下，缩放向量对点积结果的影响是相同的。
        为什么点积这一运算过程也就是将对应坐标相乘并将结果相加和投影有所联系？
        如果想要给出一个满意的答案，并且正视点积的重要性，我们需要挖掘更深层次的东西，它们被称为“对偶性”。
        现在我们要先谈一谈多维空间到一维空间（数轴）的线性变换。有不少函数能够接收二维向量并输出一个数，同样是二维输入和一维输出，和一般的函数相比，线性变换的要求更加严格。就像第三章所讨论的，高维空间中的变换需要满足一些严格的性质才会具有线性，但是我们特意忽略这些内容，聚焦于一种与之等价的直观特性。如果你有一系列等距分布于一条直线上的点，然后应用变换。线性变换会保持这些点等距分布在输出空间中，也就是数轴上。否则，如果这些点没有等距分布，那么这个变换就不是线性的。

如同我们之前看到的例子一样，这些线性变换完全由它对i帽和j帽的变换决定。但是这一次，这些基向量值落在一个数上，所以当我们将它们变换后的位置记录为矩阵的列时，矩阵的每列只是一个单独的数。

我们来考察一个例子，了解它对向量作用的含义，假设你有一个线性变换，它将i帽和j帽分别变换至1和-2，要跟踪一个向量，比如向量（4,3），在变换之后的去向感觉上就和两个向量的点积一样。将这个向量分解为4×i帽+3×j帽。由于线性性质，在变换后，这个向量的位置是4乘以变换后的i帽，也就是1，加上3乘以变换后的j帽，也就是-2，结果说明它落在-2上。

当你完全从数值角度进行计算时，它就是矩阵向量乘法。1×2矩阵与向量相乘这一数值运算过程，感觉上就和两个向量的点积一样。那个1×2矩阵不正像是一个倾倒的向量吗？

实际上，我们现在可以说，1×2矩阵与二维向量之间有着微妙的联系。这种关系在于：将向量放倒，从而得到与之相关的矩阵，或者将矩阵直立，从而得到与之相关的向量，因为我们现在只是从数值表达上来看这个联系，所以向量和1×2矩阵之间的来回转化看上去毫无意义。但是这暗示了一点，从几何角度可以看到一些美妙的事情。将向量转化为数的线性变换和这个向量本身有着某种关系。

我来举个例子说明这种关系的重要性，而它恰恰回答了之前提到的点积的问题。忘记你所学的，假设你还不知道点积与投影有关。现在将数轴复制一份，然后保持0在原点，将它斜向放置在空间中，现在考虑这样一个二维向量，它的终点落在这条数轴的1上，给它起名叫u帽。这个向量很重要，请先牢记它。如果将二维向量直接投影到这条数轴上，实际上我们就这样定义了一个从二维向量到数的函数。更重要的是，这个函数是线性的，因为它顺利通过了线性检验。即直线上等距分布的点在投影到数轴上后仍然等距分布。这里说明一点，即使我把这条数轴放在二维空间中，上述函数的输出结果还是数，不是二维向量。你应该把它看作一个接收两个坐标并输出一个坐标的函数。

不过，u帽是二维空间中的一个向量，而它又碰巧落在了这条数轴上。根据这个投影，我们定义了一个从二维向量到数的线性变换，所以我们就能够找到描述这个变换的1×2矩阵。为了找到这个矩阵，我们把这条斜着的数轴放大来看并且需要考虑变换后i帽和j帽的位置，因为它们就是矩阵的列。

这一部分超级漂亮，我们可以通过精妙的对称性进行推理，因为i帽和u帽都是单位向量，将i帽向u帽所在的直线投影与u帽向x轴投影看上去完全对称。所以如果要问i帽在投影之后落在哪个数上，答案就应该是u帽向x轴投影所得到的数，而u帽向x轴投影得到的数就是u帽的横坐标ux。因此根据对称性，将i帽向斜着的数轴上投影所得到的数，就是u帽的横坐标ux。以上推理过程对j帽几乎一致，与之前的原因一致，u帽的y坐标给出了j帽向斜着的数轴上投影所得到的数uy。

所以描述投影变换的1×2矩阵的两列，就分别是 u帽的两个坐标ux和uy。
而空间中任意向量经过投影变换的结果，也就是投影矩阵与这个向量相乘，和这个向量与u帽的点积在计算上完全相同。这就是为什么与单位向量的点积可以解读为将向量投影到单位向量所在的直线上所得到的投影长度。

那么对于非单位向量呢？比如说还是这个单位向量u帽，不过我们把它放大为原来的3倍。数值上说，它的每个坐标都被放大为原来的3倍。所以要寻找与这个向量相关的投影矩阵，实际上就是之前i帽和j帽投影得到的值的3倍。更普遍地说，因为这个变换是线性的，意味着这个新矩阵可以看作，将任何向量朝斜着的数轴上投影，然后将结果乘以3。

这就是为什么向量与给定非单位向量的点积可以解读为首先朝给定向量投影，然后将投影的值与给定向量长度相乘。
注意这里发生的过程，我们有一个从二维空间到数轴的线性变换，它并不是由向量数值或点积运算定义得到的，而只是通过将空间投影到给定数轴上来定义。但是因为这个变换是线性的，所以它必然可以用某个1×2矩阵来描述，又因为1×2矩阵与二维向量相乘的计算过程和转置矩阵并求点积的计算过程相同，所以这个投影变换必然会与某个二维向量相关。

这里的启发是，在任何时候看到一个线性变换，它的输出空间是一维数轴，无论它是如何定义的，空间中会存在唯一的向量v 与之相关，就这一意义而言，应用变换和与向量v做点积是一样的。

这一部分是数学中“对偶性”的一个实例，粗略的说，它是指自然而又出乎意料的对应关系。
对于你刚学到的情况而言，你可以说一个向量的对偶是由它定义的线性变换，一个多维空间到一维空间的线性变换的对偶是多维空间中的某个特定向量。
总结一下，表面上看，点积是理解投影的有利几何工具，并且方便检验两个向量的指向是否相同，这大概也是你需要记住的点积中最重要的部分。不过进一步讲，两个向量点乘，就是将其中一个向量转化为线性变换。

同样，在数值上强调它可能显得没有意义，因为只是两种看上去恰好相似的计算过程而已。但是这一过程很重要，因为我们一直在与向量打交道。你应该了解向量的“个性”，不把它看作空间中的箭头，而把它看作线性变换的物质载体，会更容易理解向量。向量就仿佛是一个特定变换的概念性记号。因为对我们来说，想象空间中的向量比想象整个空间移动到数轴上更加容易。

8、第一部分—叉积的标准介绍

上一节介绍了点积，不仅介绍了点积的标准介绍方法，还在更深层次说明了它与线性变换的关联，这一节我们以相同的方式来讨论叉积，不过我们会分为两部分，这一节会切中学生学习叉积时的要点，而下一接，我会展示一种教学中不常见的但是学起来又让人很满足的观点。
我们从二维空间说起，假如你有两个向量v和w，考虑它们所张成的平行四边形。这句话的意思是，你取一份v的副本，将它的起点移到w的终点，再取一份w的副本，将它的起点移动到v的终点，屏幕上显示的这四个向量围成了一个平行四边形。v和w的叉积写作（X形乘积符号）就是这个平行四边形的面积。

如果v在w的右侧，那么v叉乘w为正，并且值等于平行四边形的面积。但是如果v在w的左侧，那么v 叉乘w为负，即平行四边形面积的相反数。注意，这就是说顺序会对叉积有影响。如果你不计算w叉乘v，而是交换二者位置计算，那么叉积就是之前计算结果的相反数。
当你按序求两个基向量的叉积即i帽叉乘j帽，结果应该是正的，实际上，基向量的顺序就是定向的基础。因为i帽在j帽的右侧，所以v在w的右侧时，v叉乘w为正。

对于二维向量的叉积——v叉乘w，你需要将v的坐标作为矩阵的第一列，w的坐标作为矩阵的第二列，然后直接计算行列式。这是因为，由v和w的坐标为列所构成的矩阵，与一个将i帽和j帽分别移至v和w的线性变换相对应。行列式就是变换前后面积变化比例的度量。而我们所关注的，就是以i帽和j帽为边的单位正方形。在变换之后，这个单位正方形变成我们关心的平行四边形。所以说，通常用来度量面积变化比例的行列式，在这里给出了平行四边形的面积，因为这个平行四边形来源于面积为1的正方形。更重要的是，如果v在w的左侧，也就是说变换后定向发生了改变，那么行列式就为负。

举个例子，比如说v的坐标为（-3,1），w的坐标为(2,1),以它们的坐标为列构成的矩阵的行列式为（-3）×1-2×1=-5，所以很显然，它们构成的平行四边形的面积为5，而且因为v在w的左侧，结果自然为负。

对于你所学到的任何新的运算，可以多在脑中想一想，这样会有更加直观地感受。比如说，你可能注意到一点，当两个向量垂直，和它们指向接近时相比，此时的叉积更大。因为当两条边接近垂直时，平行四边形的面积会更大。如果你放大其中一个向量，比如将v放大为3倍，那么平行四边形的面积也同时放大为3倍。这也就是说，3v叉乘w正好是v叉乘w的3倍。

即使是上面这种数学运算看上去非常好，但是严格来讲，上面描述的东西并不是叉积，真正意义上的叉积是通过两个三维向量生成一个新的三维向量。和之前一样，我们还是要考虑这两个向量围成的平行四边形，而这个平行四边形的面积依然会发挥重要的作用。

说的具体一些，比如这两个向量围成的平行四边形的面积为2.5，但是我之前提到，叉积的结果不是一个数，而是一个向量，这个向量的长度就是平行四边形的面积，在这里也就是2.5，而这个向量的方向与平行四边形所在的面垂直。但是长度为2.5并且垂直于给定面的向量有两个，如何确定是哪一个向量你呢？

这里我们就要用到右手定则，右手食指指向v的方向，伸出中指指向w的方向，当你把大拇指竖起来时，它所指的方向就是叉积的方向。

比如说，假设向量 v的长度为2，指向z轴正方向，向量w的长度为2，指向y轴正方向，在这个简单的例子里，它们围成的图形实际上是正方形，因为它们相互垂直且长度相同，又因为正方形的面积为4，所以它们的叉积是一个长度为4的向量，根据右手定则，它们叉积应该指向x轴负方向，因此v和w的叉积是-4乘以i帽。

对于更一般的情况，这里有个公式可以记忆，但是它可以由一个三阶行列式代替，使这种运算记忆起来更加简便。

公式如下：

这个过程乍一看非常奇怪，写下一个三阶矩阵，第二列和第三列分别为v和w的坐标，第一列却是基向量i帽、j帽和k帽，然后计算这个矩阵的行列式，很明显，令人糊涂的地方在这里，让向量作为一个矩阵元究竟是什么意思？

从某种意义上说，这就是符号上的技巧，但是这么做是有原因的。行列式重要性的体现并非完全巧合，基向量作为矩阵元也不是信手而为，想要理解这一切，需要用到上一节介绍的对偶性的思想，将其单独放在后续章节中，以便有兴趣朋友继续学习。

8、第二部分：以线性变换的眼光看叉积

上一节结束时，我们说到如何计算两个三维向量v和w的叉积，这个计算很有趣，你写下一个矩阵，它的第二列时v的坐标，第三列是w的坐标，但奇怪的是，第一列的元素时i帽、j帽和k帽，出于计算的原因，你假定它们都是数，然后你再计算这个奇怪矩阵的行列式，如果你忽略其中的古怪之处，一心扑在计算上，你会得到一个常数乘以i帽，加上一个常数乘以j帽，加上一个常数乘以k帽。

这里我们分享一个非常优美的推理过程。我们需要用到行列式和对偶性的知识点。对偶性的思想在于，每当你看到一个（多维）空间到数轴的线性变换时，它都与那个空间中的唯一一个向量对应，也就是说，应用线性变换和与这个向量点乘等价。数值上说，这是因为这类线性变换可以用一个只有一行的矩阵描述，而且它的每一列给出了变换后基向量的位置。将这个矩阵与某个向量相乘，在计算上与将矩阵转置得到的向量和v点乘相同。
叉积的运算给出了此过程的一个鲜活实例，我们要做的是定义一个从三维空间到数轴的特定线性变换，并且它是根据向量v和w来定义的。然后当我们将这个变换与三维空间中的对偶向量关联时，这个对偶向量就会是v和w的叉积。

之所以这么做，是因为理解这个变换能够解释清楚叉积的计算过程和几何含义之间的关系。
再回顾一下，还记得如何在二维空间中计算向量叉积吗？
你有两个向量v和w，v的坐标作为矩阵第一列，w的坐标作为矩阵的第二列，然后计算它的行列式，这里没有出现基向量或者其他乱七八糟的东西，就是一个结果为数的普通行列式。几何上说，它给出了两个向量张成的平行四边形的面积，它还可能出现负值，取决于两个向量的定向。

如果你并不知道三维向量的叉积并且尝试去外推，你可能会想，它涉及三个向量u，v和w，将它们的坐标作为一个3×3矩阵的列，然后计算这个矩阵的行列式。而且，从几何上讲，这个行列式给出了三个向量张成的平行六面体的体积，外加一个正负号，取决于这三个向量是否满足右手定则，当然，你们都知道这不是三维向量的叉积。真正的三维向量的叉积接收两个向量并输出一个向量。它并不是接收三个向量并输出一个数，不过这个想法已经非常接近真实的叉积了。将第一个向量u看作可变向量，比如（x，y，z），而v和w保持不变，那么我们就有一个从三维空间到数轴的函数了。

你输入一个向量（x，y，z），然后通过矩阵的行列式得到一个数，这个向量的第一列是（x，y，z），其余两列是常向量v和w的坐标。这个函数的几何意义是，对于任一输入的向量（x，y，z），你都考虑由它和v与w确定的平行六面体。得到它的体积，然后根据定向确定符号。
这个函数的一个至关重要的性质在于它是线性的，思考一下：根据行列式的性质说明这一点为什么正确？一旦你知道它是线性的，我们就能开始引进对偶性的思想了。具体地说，因为这个函数从三维空间到一维空间，就会存在一个1×3矩阵来代表这个变换。

而对偶性的整体思路是，从多维空间到一维空间的变换的特别之处在于你可以将这个矩阵立起来，并且将整个变换看作与这个特定向量的点积。我们要找的就是这个特殊的三维向量-我称之为p，使得p与其他任一向量（x，y，z）的点积等于一个3×3矩阵的行列式。这个3×3矩阵的第一列为（x，y，z），其余两列分别为v和w的坐标。

现在我们先专注于它的计算意义。p与向量（x，y，z）点乘给出的结果是某个数乘以x加上某个数乘以y再加上某个数乘以z，这里的某些数就是p的坐标。但是当你计算等号右侧的行列式时，你可以将其整理为某个常数乘以x加上某个常数乘以y再加上某个常数乘以z，这里的某些常数涉及了v和w的坐标的特定组合。

因此这些常数，也就是v和w的坐标的特定组合，就是我们寻找的向量p的坐标。等号右侧的过程，对于那些进行过叉积计算的人来说是很熟悉的，像这样合并x，y和z前面的常数项和把i帽、j帽和k帽放进矩阵第一列进行计算，然后合并各项前面的系数没有区别。在矩阵中插入i帽、j帽和k帽不过是在传递一个信号，告诉我们应该把这些系数解读为一个向量的坐标。因此，这一切都在说明，这个奇怪的运算过程可以看作是以下问题的答案。当你将向量p和某个向量（x，y，z）点乘时，所得结果等于一个3×3矩阵的行列式。这个矩阵第一列为（x，y，z），其余两列为v和w 的坐标，什么样的向量p才能满足这一特殊性质？

将上面的内容与上期视频中介绍的叉积的几何意义联系起来，这次，我们要尝试从几何角度回答。
当你将向量p和某个向量（x，y，z）点乘时，所得结果等于一个由（x，y，z）和v与w确定的平行六面体的有向体积，什么样的向量p才能满足这一特殊性质？

记住一点，向量p与其他向量的点积的几何解释，是将其他向量投影到p上，然后将投影长度与p的长度相乘。

对于我们所关心的平行六面体的体积说明一种思考方法。首先获得由v和w确定的平行四边形的面积，乘以向量（x，y，z）在垂直于平行四边形方向上的分量（不是（x，y，z）的长度）。换句话说，我们找到的线性函数对于给定向量的作用，是将这个向量投影到垂直于v和w的直线上。然后将投影长度与v和w张成的平行四边形的面积相乘。但是，这和垂直于v和w且长度为平行四边形面积的向量与（x，y，z）点乘是同一回事。更重要的是，如果你选择了合适的向量方向，点积为正的情况就会与（x，y，z ）、v和w满足右手定则的情况相吻合。

这意味着我们找到了一个向量p，使得p和某个向量（x，y，z）点乘时，所得结果等于一个3×3矩阵的行列式，这个矩阵的三列分别为（x，y，z）、v的坐标和w的坐标。因此我们之前通过特殊符号技巧进行计算所得到的向量必然在几何上与这个向量对应。这就是叉积的计算过程与几何解释有关联的根本原因。
简单总结一下之前的内容，首先定义了一个三维空间到数轴的线性变换，并且它是根据向量v和w来定义的。然后通过两种不同的方式来考虑这个变换的对偶向量，即应用这个变换和与对偶向量点乘等价。一方面，计算方法引导你使用下面这种技巧，在矩阵第一列中插入i帽、j帽和k帽，然后计算行列式。但是从几何角度思考，我们可以推断出这个对偶向量必然与v和w垂直，并且其长度与这两个向量张成的平行四边形的面积相同。这两种方法给出了同一个变换的对偶向量，因此这两个向量必然相同。

9、基变换

如果我在二维空间中有一个向量，我们就有一种用坐标表示它的标准方法，在这种情况下，这个向量的坐标为（3,2），也就意味着从它的起点到它的尖端，需要向右移动3个单位，并向上移动2个单位。现在以更加线性代数的方法来描述坐标是将这些数看作拉伸或压缩向量的标量。你将第一个坐标看作缩放i帽的标量，i帽就是指向右方且长度为1的向量。第二个坐标看作缩放j帽的标量，j帽就是指向正上方且长度为1的向量。这两个经过缩放的向量的和就是坐标所要描述的向量。你可以把这两个特殊的向量看作封装于我们这个坐标系中的隐含假设。第一个数字表示向右的运动，第二个数字表示向上的运动，长度单位的确切大小。上面所有的事实都和i帽与j帽的选取有密切联系，因为这两个向量正是标量缩放的对象。

发生在向量与一组数之间的任意一种转化，都被称为一个坐标系，而其中两个特殊的向量-i帽和j帽，被称为我们这个标准坐标系的基向量。
在制作二维空间的动画时，我们通常使用方形网格。但是这个网格只是一个框架，提供了一种将坐标系可视化的途径，因此它依赖于我们对基的选择。空间本身并没有内蕴的网格。小詹可能会画出她自己的网格，它同样是一个人为的框架，也只不过是有助于理解她的坐标含义的可视化工具。但是，她的原点会和我们的原点重合，因为大家在坐标（0,0）的含义上达成了共识，它就是任何向量乘以0时你所得到的坐标。

但是她的坐标轴的方向与网格间距会有所不同，这依赖于她对基的选择。那么，我们如何在不同坐标系之间进行转化呢？比如说小詹用坐标（-1,2）描述一个向量，那么这个向量在我们的坐标系中如何描述？如何从她的语言转化到我们的语言？

她的坐标是说，这个向量是-1乘以b1加上2乘以b2。从我们的角度来看，b1的坐标为（2,1），b2的坐标为（-1,1），所以实际上，我们可以直接计算-1乘以b1加上2乘以b2，因为它们都是在我们的坐标系中表示的。在计算之后得到了一个坐标为（-4,1）的向量。我们就是这样来描述她所认为的向量（-1,2）的。

这里发生的过程，也就是用某个向量的特定坐标与她的基向量数乘，然后将结果相加，看上去有些眼熟，这就是矩阵向量乘法，这个矩阵的列代表的是用我们的语言表达的小詹的基向量。
实际上，一旦你将矩阵向量乘法理解为应用一个特定的线性变换，就会有一种非常直观地方法来考虑这里发生的事。
一个矩阵的列为小詹的基向量，这个矩阵可以看作一个线性变换，它将我们的基向量i帽和j帽，也就是我们眼中的（1,0）和（0,1）变换为小詹的基向量，也就是她眼中的（1,0）和（0,1）。

我们来看看对我们所想的向量（-1,2）应用变换是什么意思？在线性变换之前，我们所想的向量是我们的基向量的一种特定线性组合，-1乘以i帽加上2乘以j帽，而线性变换的一个重要特性在于变换后的向量仍旧是相同的线性组合，不过使用的是新的基向量，-1乘以变换后的i帽，加上2乘以变换后的j帽。
从几何上说，这个矩阵将我们的网格变换为小詹的网格，但是从数值上说，这是用她的语言来描述转化为我们的语言来描述。

在我们的坐标系中，有一个坐标为（3,2）的向量，如何计算出它在小詹的坐标系中的坐标为（5/3,1/3）？之前的基变换矩阵从小詹的语言转化到我们的语言。就此入手，取这个矩阵的逆。

不过，向量并不是唯一用坐标表示的东西。重要的是，接下来你需要熟悉矩阵代表线性变换以及矩阵乘积对应于线性复合变换这两点。
考虑某个线性变换，譬如逆时针旋转90°，用矩阵代表它的时候，我们是在跟踪i帽和j帽的去向，i帽在变换后处于坐标（0,1），而j帽在变换后处于坐标（-1,0），这些坐标也就成为了矩阵的列，但是这种表示与我们对基向量的选择密切相关，因为我们跟踪的是i帽和j帽，并且是在我们自己的坐标系中记录它们的去向。

小詹会如何描述同样的空间90°旋转呢？
你可能会尝试只将旋转矩阵的列转化为用小詹的语言描述，但是并不尽然。这些列代表的是i帽和j帽的去向，但是小詹想要的矩阵需要代表她的基向量的去向，并且是用她的语言来描述。

这个过程通常是这样的，从小詹的语言描述任一向量出发，首先，我们不用她的语言描述这一过程，而是用基变换矩阵转化为用我们的语言描述，这个矩阵代表的是用我们的语言描述的她的基向量。然后，将所得结果左乘线性变换矩阵，此时给出的是变换后的向量，但仍然是用我们的语言来描述的，所以最后一步，像之前一样将所得结果左乘基变换矩阵的逆，从而得到变换后的向量，然而是用小詹的语言来描述的。

因为我们能够对小詹语言描述的任一向量做同样的事。首先，应用基变换，然后应用线性变换，最后应用基变换的逆，这三个矩阵的复合给出的就是用小詹语言描述的线性变换矩阵。它接收用小詹语言描述的向量，并输出用小詹语言描述的变换后的向量。

总的来说，每当你看到这样一个表达式：A逆乘以M乘以A，这就暗示着一种数学上的转移作用，中间的矩阵代表一种你所见的变换，而外侧两个矩阵代表着转移作用，也就是视角上的转化。矩阵乘积仍然代表着同一个变换，只不过是从其他人的角度来看的。

10、特征向量与特征值

首先，考虑二维空间中的某个线性变换，我们关注它对一个特定向量的作用，并且考虑这个向量张成的空间，也就是通过原点和向量尖端的直线。大部分向量在变换中都离开了其张成的空间，不过，某些特殊向量的确留在它们张成的空间里，意味着矩阵对它的作用仅仅是拉伸或者压缩而已，如同一个标量。而这些特殊向量就被称为变换的“特征向量”，每一个特征向量都有一个所属的值，被称为“特征值”，即衡量特征向量在变换中拉伸或压缩比例的因子。
若想知道为什么它有用途并且值得细究，那就考虑一个三维空间中的旋转。如果你能找到这个旋转的特征向量，也就是留在它张成的空间里的向量，那么你找到的就是旋转轴。而且把一个三维旋转看成绕某个轴旋转一定角度，要比考虑相应的3×3矩阵直观得多。顺便一提，在这种情况下，相应的特征值必为1，因为旋转并不缩放任何一个向量。

这是线性代数中的一种常见规律，对于任一矩阵描述的线性变换，你可以通过将矩阵的列看作变换后的基向量来理解它。但是，理解线性变换作用的关键往往较少依赖于你的特定坐标系。更好的方法是求出它的特征向量和特征值。

用符号表示的话，以下就是特征向量的概念。A是代表某个变换的矩阵，v 是特征向量。λ是一个数，也就是对应的特征值。这个等式是说，矩阵向量乘积，也就是A乘以v等于特征向量乘以某个数λ。

因此求解矩阵A的特征向量和特征值，实际上就是求解使得这个等式成立的向量v和数λ。乍一看，求解这个等式有些棘手，因为等号左侧代表的是矩阵向量乘积，但是右侧代表的是向量数乘。所以我们首先将等号右侧重写为某个矩阵向量乘积。其中，矩阵的作用效果是将任一向量乘以λ。这个矩阵的列代表着变换后的基向量，而每个基向量仅仅与λ相乘。所以这个矩阵的对角元均为λ，其余位置都是0。通常的书写方法是提出因子λ，写作λ乘以I，这里的I就是单位矩阵，对角元均为1。现在两侧都是矩阵向量乘积的形式，我们就能将等号右侧的东西移到左侧，然后提出因子v。

现在我们得到的是一个新的矩阵-A减去λ乘以单位阵。我们就寻找一个向量v，使得这个新矩阵与v相乘结果为零向量。

如果v本身就是零向量的话，这个等式恒成立，但是这没什么意思，我们需要一个非零解v。根据之前的知识可知，当且仅当矩阵代表的变换将空间压缩到更低的维度上时，才会存在一个非零向量，使得矩阵和它的乘积为零向量。

为了了解这个过程，我们重温一下视频开头的例子，这个矩阵的列是（3,0）和（1,2），为了求解特征值λ，将矩阵的对角元减去λ，然后计算行列式，等于0，略去，这样我们就得到了一个关于λ的二次多项式（3-λ）（2-λ），因为只有这个行列式为零时，λ才会是特征值，你就能推断出，所有可能的特征值是λ等于2和λ等于3。为了求出某个特征值的特征向量，比如λ等于2，将λ的值代入矩阵当中，然后解出在这个对角线变化的矩阵变换后成为零的向量。

如果进行计算，如同求解其他线性方程组一样，你会发现所有的解全部落在由向量（-1,1）张成的对角线上。与之对应的就是原始的矩阵[（3,0），（1,2）]将这些向量拉伸为原来的2倍。
注意，可能会出现只有一个特征值，但是特征向量不止在一条直线上的情况。一个简单的例子是将所有向量变为两倍的矩阵，唯一的特征值是2，但是平面内每一个向量都是属于这个特征值的特征向量。

如果我们的基向量恰好是特征向量，来看看会发生什么？
比如说，可能i帽变为原来的**（-1）倍**，j帽变为原来的2倍，将它们的新坐标作为矩阵的列，注意，它们的倍数**-1和2**，也就是i帽和j帽所属的特征值，位于矩阵的对角线上，而其他元素均为0。

除了对角元以外其他元素均为0的矩阵称为对角矩阵，这非常合理。解读它的方法是，所有基向量都是特征向量，矩阵的对角元是它们所属的特征值。

对角矩阵在很多方面都更容易处理，其中一个重要的方面是，矩阵与自己多次相乘的结果更容易计算。因为对角矩阵仅仅让基向量与某个特征值相乘，所以多次应用矩阵乘法，比如100次，也只是将每个基向量与对应特征值的100次幂相乘。

相比之下，尝试计算一个非对角矩阵的100次幂，就是一场噩梦。
但是如果你的变换有许多特征向量，多到你能选出一个张成空间的集合，那么你就能变换你的坐标系，使得这些特征向量就是基向量。
上一节我们已经介绍过了基变换，简单回顾，说说如何在另一个坐标系中表达当前坐标系所描述的变换。取出你想用做新基的向量的坐标，这里指的是两个特征向量。然后将坐标作为一个矩阵的列，这个矩阵就是基变换矩阵。在右侧写下基变换矩阵，在左侧写下基变换矩阵的逆。当你将原始的变换夹在两个矩阵中间时，所得的矩阵代表的是同一个变换，不过是从新基向量所构成的坐标系的角度来看的。

用特征向量来完成这件事的意义在于这个新矩阵必然是对角的，并且对角元为对应的特征值。这是因为，它所处的坐标系的基向量在变换中只进行了缩放，一组基向量（同样是特征值）构成的集合被称为一组“特征基”，这也是非常合理的。

所以，如果你要计算这个矩阵的100次幂，一种更容易的做法是先变换到特征基，在那个坐标系中计算100次幂，然后再转换回标准坐标系。

不是所有的矩阵都能对角化，比如说剪切变换，它的特征向量不够多，不能张成全空间，但如果你能找到一组特征基，矩阵运算就会变得非常轻松。

11、抽象向量空间

我们来重新探讨一下这个系列第一节中一个看似很简单的问题：什么是向量？
比如说一个二维向量，从根本上说，它是平面内的一个箭头？为了方便起见，我们用坐标来描述它。或者说，它是一个实数对？而我们只是将它形象理解为平面内的一个箭头，又或者，这两种观点只是更深层次的东西的体现？

一方面，将向量解释为一组数字给人感觉清晰明了，另一方面，四维或者一百维向量看上去就像是可以操作的真实具体的概念。与之相反，四维空间之类的东西只是一个模糊的几何概念，不用手比划一下是很难解释清楚的。但是另一方面，对于那些在实践中运用线性代数的人，尤其是熟悉基变换的人来说，他们通常所处理的空间独立于坐标存在，而且坐标描述实际上有些随意，因为它依赖于你所选的基向量。

线性代数中的核心话题，如行列式和特征向量等，它们似乎不受所选坐标系影响。行列式告诉你的是一个变换对面积的缩放比例，特征向量则是在变换中留在它所张成的空间中的向量。这二者都是暗含于空间中的性质，你可以自由选取坐标系，这并不会改变它们最根本的值。
但是，如果向量根本上并不是由一组实数构成，它们的本质其实更具空间性，这不禁让人产生疑问——数学家所说的“空间”或“空间性”是什么意思？
为了进一步说明，在这一节中，我们讨论一种既不是一个箭头也不是一组数字，但是同样具有向量特征的东西，比如函数。从某种意义上说，函数实际上只是另一种向量。
类比两个向量相加的方法，我们也可以将两个函数f和g相加，从而获得一个新函数（f+g），这种做法是合理的。

这个新函数在任意一点处的值，比如说在-4处的值，就是f和g在这一点处（即-4）的值的和。更一般的说，这个和函数在任意一点x处的值（f+g）（x）等于f（x）加上g（x）。这和向量对应坐标相加非常相似，只不过在某种程度上说，它有无穷多个坐标要相加。
类似地，函数与一个实数相乘也有合理的解释。只是把输出的值与那个数相乘，这再次和向量对应坐标数乘类似。

因为对向量所能进行的操作不过相加和数乘两种，所以，最初以空间中的箭头为背景考虑的线性代数的合理概念和解决问题的手段应该能够原封不动地被我们取出来然后应用于函数。
举个例子，函数的线性变换有一个完全合理的解释，这个变换接收一个函数，并把它变成另一个函数。

从微积分中可以找到一个常见的例子——导数，它将一个函数变换到另一个函数。关于这点，有时你听到的是“算子”而不是“变换”，不过它们的意思一样。
我们很自然地想到“一个函数变换是线性的”是什么意思？
线性的严格定义是相对抽象而符号繁重的。但是抽象带来的好处是我们能得到一般性的结论，它不仅仅适用于箭头，也适用于函数。
满足以下两条性质的变换是线性的，这两条性质通常被称为“可加性”和“成比例”。可加性意味着如果你把两个向量v和w相加，然后对它们的和应用变换，得到的结果和将变换后的v 与w相加一致。（即先相加再变换与先变换再相加结果一致）。成比例是说，将一个向量v与某个数相乘，然后应用变换，得到的结果和变换后的v与这个数相乘一致。（即先数乘再变换与先变换再数乘结果一致）。经常听到的一种描述方法是“线性变换保持向量加法运算和数乘运算”。

前几节中讨论过的网格线保持平衡且等距分布的概念只是这两条性质在二维空间这一特殊情况下的体现。这两条性质的一个重要推论是：一个线性变换可以通过它对基向量的作用来完全描述，这使得矩阵向量乘法成为可能。因为我任一向量都能表达为基向量以某种方式进行线性组合。所以求一个向量变换后的结果实际上就是求出变换后的基向量以相同方式进行线性组合的结果，这一点对函数同样适用。

比如一个事实，求导具有可加性和成比例性。如果你把两个函数相加然后求导数等同于先求两个函数的导数然后把结果相加（即先相加再求导与先求导再相加一致）。

类似地，如果你将函数与数相乘，然后求导数等同于先求导数，然后把结果与数相乘（即先数乘再求导与先求导再数乘结果一致）。

未完待续...