线性代数与矩阵论知识点总结

1. 向量及其运算
2. 矩阵及其运算
- 2.1 各种矩阵
- 2.2 基本运算
3. 行列式
4.线性方程组
5. 特征值与特征向量
6.二次型
7. 矩阵分解

线性代数在ML和DL中扮演着非常重要的角色，虽然本科和研究生阶段修过线性代数与矩阵论，不过不用则废啊，最近还是想把这部分数据基础知识整理一下，加深理解，这样才能在机器学习与深度学习这条路上走的更远，包括微积分、最优化、随机过程、信息论等。

1. 向量及其运算

矩阵内积：两个向量对应分量之和。
xTy=∑i=1nxiyix^Ty=\sum_{i=1}^nx_iy_i xTy=i=1∑nxiyi
线性模型可用内积表达
w1x1+...+wnxn+bw_1x_1+...+w_nx_n+b w1x1+...+wnxn+b
wTx+bw^Tx+b wTx+b
两个向量内积为0，则正交
阿达马积：两个向量对应分量相乘，结果为相同维数向量
x⨀y=(x1y1,...,xnyn)Tx \bigodot y = (x_1y_1,...,x_ny_n)^T x⨀y=(x1y1,...,xnyn)T
阿达马积可以简化问题的表述，在反向传播算法、各种梯度下降法中广泛使用。
向量的范数：向量模长的推广
∣∣x∣∣p=(∑i=1n∣xi∣p)1/p||x||_p=(\sum_{i=1}^n|x_i|^p)^{1/p} ∣∣x∣∣p=(i=1∑n∣xi∣p)1/p
常用的是L1和L2范数
- L1范数：所有分量绝对值之和
  ∣∣x∣∣1=∑i=1n∣xi∣||x||_1=\sum_{i=1}^n|x_i| ∣∣x∣∣1=i=1∑n∣xi∣
- L2范数（欧几里得范数）
  ∣∣x∣∣2=∑i=1n∣xi∣2||x||_2=\sqrt {\sum_{i=1}^n|x_i|^2} ∣∣x∣∣2=i=1∑n∣xi∣2
  L1、L2范数被用于构造正则项
向量内积、模、夹角关系：
xTy=∣∣x∣∣∣∣y∣∣⋅cosθx^Ty=||x||||y|| \cdot cos\theta xTy=∣∣x∣∣∣∣y∣∣⋅cosθ
欧氏距离：点之间的距离:两个向量相减之后的L2范数
∣∣x−y∣∣||x-y|| ∣∣x−y∣∣
解析几何
- 平面解析几何中，点到直线距离：
  d=∣ax+by+c∣a2+b2d = { |ax+by+c|\over \sqrt{a^2+b^2} } d=a2+b2∣ax+by+c∣
- 空间解析几何中，点到直线距离：
  d=∣ax+by+cz+d∣a2+b2+c2d = { |ax+by+cz+d|\over \sqrt{a^2+b^2+c^2} } d=a2+b2+c2∣ax+by+cz+d∣
- 推广到n维空间
  d=∣wTx+b∣∣∣w∣∣2d = {|w^Tx+b|\over||w||_2} d=∣∣w∣∣2∣wTx+b∣
  此公式在SVM的推导时会用到，回想起手推SVM，真的是太恐怖了
线性相关性
对于向量组x1,...xlx_1,...x_lx1,...xl,如果存在一组不全为0的数k1,...,klk_1,...,k_lk1,...,kl，使得
k1x1+k2x2+...+klxl=0k_1x_1+k_2x_2+...+k_lx_l=0 k1x1+k2x2+...+klxl=0
则称这组向量线性相关。如果不存在一组全不为0的数使得上式成立，则称这组向量线性无关，也就是线性独立。
- 极大线性无关组
向量空间

2. 矩阵及其运算

矩阵的应用非常广泛，数据结构中的二维数组即为矩阵，在ML和DL中使用非常广泛。

2.1 各种矩阵

方阵
对角矩阵
对称矩阵
上\下三角矩阵
格拉姆矩阵
[x1Tx1x1Tx2⋯x1Txnx2Tx1x2Tx2⋯x2Txn⋮⋮⋱⋮xnTx1xnTx2⋯xnTxn](G)\left[ \begin{matrix} x_1^Tx_1 & x_1^Tx_2 & \cdots & x_1^Tx_n \\ x_2^Tx_1 & x_2^Tx_2 & \cdots & x_2^Tx_n \\ \vdots & \vdots & \ddots & \vdots \\ x_n^Tx_1 & x_n^Tx_2 & \cdots & x_n^Tx_n \\ \end{matrix} \right]\tag{G} ⎣⎢⎢⎢⎡x1Tx1x2Tx1⋮xnTx1x1Tx2x2Tx2⋮xnTx2⋯⋯⋱⋯x1Txnx2Txn⋮xnTxn⎦⎥⎥⎥⎤(G)

2.2 基本运算

矩阵加减法
矩阵乘法
逆矩阵
矩阵的范数

3. 行列式

4.线性方程组

5. 特征值与特征向量

6.二次型

7. 矩阵分解

线性代数与矩阵论知识点总结相关推荐

线性代数及矩阵论（十一）
线性代数原文 MIT 18.06 线性代数笔记矩阵论笔记来自工程矩阵理论综合线性代数机器学习的数学基础配合视频线性代数工程矩阵理论第三十四讲:左右逆和伪逆前面我们涉及到的逆(inve ...
线性代数及矩阵论（十）
线性代数原文 MIT 18.06 线性代数笔记矩阵论笔记来自工程矩阵理论综合线性代数机器学习的数学基础配合视频线性代数工程矩阵理论文章目录第三十二讲:基变换和图像压缩 1.图像压缩 ...
线性代数及矩阵论（七）
线性代数原文 MIT 18.06 线性代数笔记矩阵论笔记来自工程矩阵理论综合线性代数机器学习的数学基础配合视频线性代数工程矩阵理论文章目录第二十三讲:微分方程和eAte^{At}eA ...
人工智能中的线性代数与矩阵论学习秘诀之精品课程
读者朋友们如果希望通过观看视频的方式自学线性代数与矩阵论的相关内容,下面列出的一些课程可供参考.在线课程非常多,本文仅仅列出了其中的一部分,读者朋友们也可以在网上自行搜索,然后根据自己的喜好进行选择. ...
图解AI数学基础(1) | 线性代数与矩阵论（要点速查清单·完结）
作者:韩信子@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/83 本文地址:https://www.showmeai.tech/article-d ...
线性代数及矩阵论（三）
线性代数原文 MIT 18.06 线性代数笔记矩阵论笔记来自工程矩阵理论综合线性代数机器学习的数学基础配合视频线性代数工程矩阵理论文章目录十一.矩阵空间.秩1矩阵和小世界图 1.矩阵 ...
高等数学+线性代数+概率统计知识点梳理（参考李林108题）
写在前面:请大家支持正版!!!李林老师口碑甚好,本文仅用于构建个人知识体系.所用参考资料为李林2021年高频考点透析108题. 文章目录高等数学考点1 函数的性质考点2 极限的定义和性质考点3 ...
线性代数与矩阵论定理 1.5.6 拉格朗日插值公式
给定域$\mathbf{F}$中$n+1$个不同的数$\alpha_1,\alpha_2,\cdots,\alpha_{n+1}$,以及域$\mathbf{F}$中另外$n+1$个数$\beta_1, ...
线性代数与矩阵论习题 1.2.2
试利用辗转相除法,求有理系数多项式$u(x)$和$v(x)$,使得$u(x)f(x)+v(x)g(x)=(f(x),g(x))$. (1)$f(x)=3x^3-2x^2+x+2$,$g(x)=x^2- ...
线性代数与矩阵论习题 1.2.1
求下列各组复多项式的最高公因式: (1)$x^3+(2+i)x^2+(3+2i)x+6$,$x^5+ix^4+10x^3+28x+21i$. 解: \begin{align*} x^5+ix^4+10 ...

线性代数与矩阵论知识点总结

线性代数与矩阵论知识点总结

1. 向量及其运算

2. 矩阵及其运算

2.1 各种矩阵

2.2 基本运算

3. 行列式

4.线性方程组

5. 特征值与特征向量

6.二次型

7. 矩阵分解

线性代数与矩阵论知识点总结相关推荐

最新文章

热门文章