前言

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。

文章目录

人工智能数学课高等数学线性微积分数学教程笔记（目录）
人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
人工智能数学课高等数学线性微积分数学教程笔记（5. 线性代数高级）
人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

笔记目录

前言
文章目录
3. 线性代数基础
- - 向量
- - 向量的范数
- - 特殊向量
- - 矩阵
- - 逆矩阵
- - 行列式

3. 线性代数基础

- 向量

一维数组，几何意义是空间中的点， n n n 维向量集合的全体构成了 n n n 维欧式空间 R n R^n Rn ;
行向量(编程语言中把数据存为它)，列向量(数学上常用)；
向量运算
- 加减：分量加减， E r r o r = y − y ^ Error=\boldsymbol{y}-\hat{\boldsymbol{y}} Error=y−y^
- 数乘：数和分量相乘， w t + 1 = w t − α g \boldsymbol{w}^{t+1}=\boldsymbol{w}^t-\alpha \boldsymbol{g} wt+1=wt−αg
- 向量的内积(点乘)： X T Y X^TY XTY
```
np.dot(a,b)
```
- 运算法则： A + B + C = A + ( B + C ) A+B+C=A+(B+C) A+B+C=A+(B+C) ; k ∗ ( X + Y ) = k X + k Y k*(X+Y)=kX+kY k∗(X+Y)=kX+kY

- 向量的范数

范数： ∥ x ∥ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 p \left \| \boldsymbol{x} \right \|_p=\left ( \sum\limits_{i=1}^{n}\left | x_i \right |^p \right )^\frac{1}{p} ∥x∥p=(i=1∑n∣xi∣p)p1; p p p 为整数，向量变成标量；
1 范数是绝对值加和，记为 L 1 L1 L1: ∥ x ∥ 1 = ∑ i = 1 n ∣ x i ∣ \left \| \boldsymbol{x} \right \|_1=\sum\limits_{i=1}^n \left | x_i \right | ∥x∥1=i=1∑n∣xi∣，曼哈顿距离；
2 范数是向量长度，向量的模，记为 L 2 L2 L2: ∥ x ∥ 2 = ∑ i = 1 n ( x i ) 2 \left \| \boldsymbol{x} \right \|_2=\sqrt{\sum\limits_{i=1}^n \left ( x_i \right )^2} ∥x∥2=i=1∑n(xi)2 ，欧式距离；
应用： L 1 L1 L1 正则项： ∑ i = 1 n ∣ w i ∣ \sum\limits_{i=1}^n \left | w_i \right | i=1∑n∣wi∣； L 2 L2 L2 正则项： ∑ i = 1 n ∣ w i ∣ 2 \sum\limits_{i=1}^n \left |w_i \right |^2 i=1∑n∣wi∣2；正则项越小，模型容错性越强，防止过拟合；

- 特殊向量

0 向量：np.zeros(); 全 1 向量：np.ones();
稀疏向量(Sparse vector)；稠密向量(Dense vector)；one-hot 编码；
单位向量，长度为1；

- 矩阵

二维数组，方阵，对称矩阵： a i j = a j i a_{ij}=a_{ji} aij=aji
单位阵：np.identity()、np.eye()
矩阵运算：加减、数乘、转置(a.T、a.transpose(1,0))
矩阵的乘法：a*b a/b(按对应位相乘除)，np.dot(a,b) 是把第一个矩阵的每一行和第二个矩阵的每一列做内积。
A + B + C = A + ( B + C ) A+B+C=A+(B+C) A+B+C=A+(B+C); ( A B ) C = A ( B C ) (AB)C=A(BC) (AB)C=A(BC); ( A + B ) C = A C + B C (A+B)C=AC+BC (A+B)C=AC+BC; A ( B + C ) = A B + A C A(B+C)=AB+AC A(B+C)=AB+AC; A B ≠ B A AB\ne BA AB=BA
转置公式： ( A B ) T = B T A T (AB)^T=B^TA^T (AB)T=BTAT

- 逆矩阵

假设一个矩阵 A A A (方阵)，有 A B = B A = I AB=BA=I AB=BA=I ， B = A − 1 B=A^{-1} B=A−1
( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} (AB)−1=B−1A−1， ( A − 1 ) − 1 = A (A^{-1})^{-1}=A (A−1)−1=A， ( A T ) − 1 = ( A − 1 ) T (A^T)^{-1}=(A^{-1})T (AT)−1=(A−1)T
np.linalg.inv(A) (linear algebra)

- 行列式

行列式把矩阵(方阵)变成一个标量。

∣ a 11 a 12 a 21 a 22 ∣ = a 11 a 22 − a 12 a 21 \begin{vmatrix}a_{11} & a_{12} \\a_{21} & a_{22}\end{vmatrix}=a_{11}a_{22}-a_{12}a_{21} ∣ ∣a11a21a12a22∣ ∣=a11a22−a12a21

∣ a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 ∣ = a 11 a 22 a 33 + a 12 a 23 a 31 + a 13 a 21 a 32 − a 13 a 22 a 31 − a 12 a 21 a 33 − a 11 a 23 a 32 \begin{vmatrix}a_{11}& a_{12} &a_{13}\\a_{21}& a_{22} &a_{23}\\ a_{31}& a_{32} &a_{33}\end{vmatrix}=a_{11}a_{22}a_{33}+a_{12}a_{23}a_{31}+a_{13}a_{21}a_{32}-a_{13}a_{22}a_{31}-a_{12}a_{21}a_{33}-a_{11}a_{23}a_{32} ∣ ∣a11a21a31a12a22a32a13a23a33∣ ∣=a11a22a33+a12a23a31+a13a21a32−a13a22a31−a12a21a33−a11a23a32

行列式性质： ∣ A B ∣ = ∣ A ∣ ∣ B ∣ \left | AB \right |=\left | A \right |\left | B \right | ∣AB∣=∣A∣∣B∣， ∣ A − 1 ∣ = ∣ A ∣ − 1 \left | A^{-1} \right |=\left | A \right |^{-1} ∣ ∣A−1∣ ∣=∣A∣−1， ∣ α A ∣ = α n ∣ A ∣ \left | \alpha A \right |=\alpha ^n\left | A \right | ∣αA∣=αn∣A∣
np.linalg.det(A)

人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）相关推荐

人工智能数学课高等数学线性微积分数学教程笔记（1. 数学内容概述）
前言对人工智能数学课高等数学线性微积分数学教程的学习笔记.主要用于快速回忆已学的数学知识点,不适合基础学习.博客园中同步更新. 文章目录人工智能数学课高等数学线性微积分数学教程笔记(目录) 人工智 ...
人工智能数学课高等数学线性微积分数学教程笔记（2. 一元函数微分学）
前言对人工智能数学课高等数学线性微积分数学教程的学习笔记.主要用于快速回忆已学的数学知识点,不适合基础学习.博客园中同步更新. 文章目录人工智能数学课高等数学线性微积分数学教程笔记(目录) 人工智 ...
人工智能数学课高等数学线性微积分数学教程笔记（4. 多元函数的微分学）
前言对人工智能数学课高等数学线性微积分数学教程的学习笔记.主要用于快速回忆已学的数学知识点,不适合基础学习.博客园中同步更新. 文章目录人工智能数学课高等数学线性微积分数学教程笔记(目录) 人工智 ...
人工智能数学课高等数学线性微积分数学教程笔记（6. 概率论）
前言对人工智能数学课高等数学线性微积分数学教程的学习笔记.主要用于快速回忆已学的数学知识点,不适合基础学习.博客园中同步更新. 文章目录人工智能数学课高等数学线性微积分数学教程笔记(目录) 人工智 ...
人工智能数学课高等数学线性微积分数学教程笔记（目录）
前言本文是对人工智能数学课高等数学线性微积分数学教程的学习笔记.由于之前的文章<人工智能数学课高等数学线性微积分数学教程笔记>篇幅过大,导致打开的时候加载缓慢,也不利于阅读,同时由于CS ...
人工智能数学课高等数学线性微积分数学教程笔记
目录 1. 数学内容概述 2. 一元函数微分学 - 导数 - 导数的定义 - 左导数.右导数和右导数 - 几何意义与物理意义 - 求导公式 - 基本函数 - 四则运算法则 - 复合函数求导法则 - 用 ...
人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）
前言对人工智能数学课高等数学线性微积分数学教程的学习笔记.主要用于快速回忆已学的数学知识点,不适合基础学习.博客园中同步更新. 笔记目录前言 7. 最优化 - 基本概念 - 梯度下降法 - 牛顿法 ...
《深度学习笔记》——线性代数基础
1 前言这里我们将会介绍线性代数的基础知识: 2 矩阵范数 Frobenius范数相当于将矩阵拉成向量之后的2范数: ∥A∥Frob=[∑ijAij2]12{\left \| A \right \ ...
人工智能-高等数学之微积分篇
高等数学之微积分篇接着上一篇<人工智能-高等数学之导数篇>,继续学习汇总微积分的知识,微分和导数外形很相似,导致有时候傻傻的分不清楚,在查找无数资料之后我找到了一个能够被理解的说法,导数 ...

人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）

前言