Linear Algebra 线性代数

最近在看Deep Learning这本书，刚看了Linear Algebra章，总结一下。

名词函数
Scalars：标量，就是单个数，一般用小写倾斜字体表示。

Vectors：向量，一般用小写加粗字体表示。

Matrices：二维矩阵，一般用大写加粗字体表示。
Tensors：多维矩阵。

矩阵的基本运算
transpose：转置，使用右上标T表示转置。

乘法：C = AB

同时向量有点积运算，运算结果是标量而非向量。
矩阵满足结合律和交换律。

矩阵的逆
这本书里面矩阵的逆讲的很好，先从矩阵和向量的乘法引出矩阵的逆，然后将矩阵和向量的乘法，看做是从原点到向量b 的方法，将矩阵A 看做方向，那么x 就是我们在每个方向的前进的距离，从而引出了列空间的概念。列空间即通过A 可以到达的范围。所以Ax = b 是否有没有解等同于b 是否在A的列空间中。若A是m行n列的，则n一定要大于等于m，因为若n小于m，则b是n维的，不能构造出m维的b。这里引出了线性无关的概念，从而得出矩阵必须包含至少m个线性无关的列。因为矩阵只有一个逆矩阵，所以矩阵的行列数相同，否则，包含多个解。（我是觉得这一块论证的很好，所以简单翻译了一下，，这是我自己的理解，感兴趣的可以自己看一下原文）

Norms
范数是衡量向量的大小。Lp范数如下：

其中若p等于2，就是我们常用的欧几里得范数，即向量到原点的距离。
书中提到L0范数是不正确的术语（L0范数是向量中非零元素的个数），因为按比例扩大缩小数据不会改变非零元素的个数，但该向量被改变。

特殊类型的矩阵和向量
Diagonal Matrix（对角矩阵）：对角矩阵是除了i = j以外的元素全为0的矩阵。
使用表示一个正方形的对角矩阵，其中对角线上元素由向量给定。
Symmetric Matrix（对称矩阵）：对称矩阵是指矩阵等于该矩阵的转置矩阵：。
unit vector（单位向量）：单位向量是满足的向量。
Orthogonal matrix（正交矩阵）：正交矩阵是方形矩阵，且其行（列）互相正交。即。

Eigendecomposition特征分解
特征分解就是讲矩阵分解成特征值（eigenvalue）和特征向量（eigenvector）的集合。
特征向量是满足下面式子的非零向量：
就是特征值。成倍的改变特征向量的元素值不会改变其对应的特征值。
假设矩阵有n个线性不相关的特征向量和对应的特征值，设V是特征向量的组合，是特征值的组合。则矩阵的特征分解是：。
任意实对称（real symmetric）矩阵都可以被分解为实数域上的特征向量和特征值：。其中是正交矩阵，是对角矩阵。

Singular Value Decomposition奇异值分解
只有方阵能进行特征分解，为了分解一般实矩阵，提出了SVD。奇异值分解写成：。假设A是mxn的矩阵，则U是mxm的矩阵，D是mxn，V是nxn的矩阵。矩阵U和V是正交矩阵，矩阵D是对角矩阵。

Moore-Penrose Pseudoinverse
摩尔－彭若斯广义逆，广义逆也成为伪逆，是处理非正方形的矩阵的逆矩阵。矩阵A的广义逆被定义为：。通常被写为：。其中U,D,V是矩阵A的奇异值分解。

Determinant行列式
方阵的行列式记做。值等于特征值的乘积。特征值的绝对值可以看做是矩阵扩展和缩减的体积。如果行列式值为0，则空间朝至多一个方向完全缩减，以致体积为0；若值为1，则转换保留了体积。

Linear Algebra 线性代数相关推荐

GAMES101课程学习笔记—Lec 02：Linear Algebra 线性代数回顾
GAMES101课程学习笔记-Lec 02:Linear Algebra 线性代数回顾 0 图形学的依赖学科 1 向量 1.1 点乘 1.2 叉乘 2 矩阵本节课知识比较基础,大学课程里应该都学过, ...
线性代数第九版pdf英文_《Linear Algebra Done Right》线性代数复习及部分习题解答（3.C）...
个人声明本系列文章记录本人自学线性代数教材<Linear Algebra Done Right>的概念梳理(复习)和部分习题解答(练习).如有任何错误或不严谨之处恳请读者在评论区留言提醒 ...
线性代数基本定理（核空间与行空间）——The Fundamental Theorem of Linear Algebra
本文依据Nicholas Hoell的讲义The Fundamental Theorem of Linear Algebra翻译,水平有限,如有不当欢迎指正. 目录一.预备知识:正交补空间 1.1 ...
【机器学习的数学基础】（二）线性代数(Linear Algebra)（中）
文章目录 2 线性代数(Linear Algebra)(中) 2.4 向量空间 2.4.1 群 2.4.2 向量空间 2.4.3 向量子空间 2.5 线性独立 2.6 基和秩 2.6.1 生成集和基 ...
matlab中没有linearmodel,MATLAB线性代数简明教程(Linear Algebra Using MATLAB)
MATLAB线性代数简明教程(Linear Algebra Using MATLAB) 编辑锁定讨论上传视频 <MATLAB线性代数简明教程(Linear Algebra Using MA ...
矩阵消元-线性代数课时2（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第二讲,讲解了求线性方程组的一种系统方法:消元法(Gaussian elimination),它的核心思想是行变换.本课时的几个核心知识点:消元.回代.消元过程的矩阵描述和逆矩阵 ...
列空间和零空间-线性代数课时6（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第六讲,讲解的内容是线性代数里的俩个最重要向量子空间:列空间和零空间,同时还有上节课剩余的一点关于向量空间的问题.1.向量空间和子空间;2.列空间;3.零空间. 1.向量空间和子 ...
矩阵乘法和逆矩阵-线性代数课时3（MIT Linear Algebra , Gilbert Strang）
这是Strang教授的第三讲,讲解的内容是矩阵乘法和矩阵的逆.矩阵乘法在前面已经使用过,本节课教授只是集中细致的讲解矩阵乘法满足的定律和几种计算矩阵乘法的方法,矩阵的逆是本节课的重要内容. 矩阵乘法 ...
【线性代数】Linear Algebra Big Picture
Abstract: 通过学习MIT 18.06课程,总结出的线性代数的知识点相互依赖关系,后续博客将会按照相应的依赖关系进行介绍.(2017-08-18 16:28:36) Keywords: Lin ...

Linear Algebra 线性代数

Linear Algebra 线性代数

Linear Algebra 线性代数相关推荐

最新文章

热门文章