文章目录

1、极限
- 1.1 无穷大之比较
- - 1.1.1 求证 lim⁡x→∞na1a2n=0{\lim \limits_{x \to \infty}} \frac{n^{a_1}}{{a_2}^n} = 0x→∞lima2nna1=0
  - 1.1.2 求证 an<n!其中a>1a^n <n! \quad 其中 a > 1an<n!其中a>1
- 1.2 无穷小之比较
- - 1.2.1 求证 1n\frac{1}{n}n1 发散
  - 1.2.2 求证 1na\frac{1}{n^a}na1 收敛， a > 1
- 1.3 极限的定义
- 1.4 极限的运算
- - 1.4.1 极限的四则运算
  - 1.4.2 极限的复合运算
  - 1.4.3 两个重要极限
  - 1.4.4 夹逼定理
- 1.5 无穷小阶数
- - 1.5.1 等价无穷小代还求极限
2、微分与泰勒级数
- 2.1 微分
- - 2.1.1 导数
  - 2.1.2 求导法则
  - 2.1.3 反函数求导
  - 2.1.4 复合函数的导数
- 2.2 泰勒级数
- - 2.2.1 罗尔定理
  - 2.2.1 微分中值定理和柯西中值定理
  - 2.2.3 洛必达法则
  - 2.2.4 泰勒展开的证明
- 2.3 偏导数
- - 2.3.1 链式求导法则
  - 2.3.2 梯度算符、拉氏算符
3、积分与微积分基本定理
- 3.0 积分计算方式→\rightarrow→变量替换
- 3.1 积分计算方式→\rightarrow→分部积分
4、牛顿法
- 1）注意事项（局限性）
- 2）具体做法
5、正态分布
- 5.1 标准的正态分布
- 5.2 大数定律+中心极限定理
- 5.3 误差函数
- 5.4 二维正态分布
- - 5.4.2 协方差
  - 5.4.3 相关系数 ρ\rhoρ

微积分的核心思想：逼近

1、极限

引理1：单调有界序列存在极限。

1.1 无穷大之比较

ln⁡n<n1a1<n<na2<a3n<n!<nn,其中a1,a2,a3都是大于1的值。\ln n < n^{\frac{1}{a_1}} < n < n^{a_2} < {a_3}^n < n! < n^n, \qquad 其中 a_1,a_2,a_3 都是大于 1 的值。lnn<na11<n<na2<a3n<n!<nn,其中a1,a2,a3都是大于1的值。

1.1.1 求证 lim⁡x→∞na1a2n=0{\lim \limits_{x \to \infty}} \frac{n^{a_1}}{{a_2}^n} = 0x→∞lima2nna1=0

证明：用二项式展开进行计算。

令 h=a2−1h = a_2 -1h=a2−1
则：a2n=(1+h)n=1+n∗h+n(n−1)2!∗h+n(n−1)(n−2)3!∗h2+...a_2^n = (1+h)^n \\ =1 + n*h + \frac{n(n-1)}{2!}*h + \frac{n(n-1)(n-2)}{3!}*h^2 + ...a2n=(1+h)n=1+n∗h+2!n(n−1)∗h+3!n(n−1)(n−2)∗h2+...
令 k=[a1]+1k = [a_1] + 1k=[a1]+1 ； (先对a1a_1a1取整再加 1)
则，在a2n{a_2}^na2n中，一定存在 n(n−1)(n−2)...(n−(k−1))k!\frac{n(n-1)(n-2)...(n-(k-1))}{k!}k!n(n−1)(n−2)...(n−(k−1))
最后经过同比例放缩，得到
0<na1a2n≤nkn(n−1)(n−2)...(n−(k−1))k!hk0<\frac{n^{a_1}}{{a_2}^n} \leq \frac{n^k}{\frac{n(n-1)(n-2)...(n-(k-1))}{k!} h^{k}}0<a2nna1≤k!n(n−1)(n−2)...(n−(k−1))hknk

1.1.2 求证 an<n!其中a>1a^n <n! \quad 其中 a > 1an<n!其中a>1

证明：直接相比，然后进行放缩。
0<ann!≤Can→00 < \frac{a^n}{n!} \leq C\frac{a}{n} \to 00<n!an≤Cna→0

1.2 无穷小之比较

与无穷大的比较正好相反
1nn<1n!<1a3n<1na2<1n<1n1a1<1ln⁡n\frac{1}{n^n} < \frac{1}{n!} < \frac{1}{{a_3}^n} < \frac{1}{n^{a_2}} <\frac{1}{n} < \frac{1}{n^{\frac{1}{a_1}}} <\frac{1}{\ln n}nn1<n!1<a3n1<na21<n1<na111<lnn1

1.2.1 求证 1n\frac{1}{n}n1 发散

1⏟≥12+12⏟≥12+13+14⏟≥12+15+16+17+18⏟≥12\underbrace{\mathop{1}}_{\geq \frac{1}{2}} + \underbrace{\mathop{\frac{1}{2}}}_{\geq \frac{1}{2}} + \underbrace{\mathop{\frac{1}{3} + \frac{1}{4}}}_{\geq \frac{1}{2}} + \underbrace{\mathop{\frac{1}{5} + \frac{1}{6} + \frac{1}{7} + \frac{1}{8}}}_{\geq \frac{1}{2}} ≥211+≥2121+≥2131+41+≥2151+61+71+81

可以看成是无数了 ≥12\geq \frac{1}{2}≥21 的数进行叠加
所以是发散的。

1.2.2 求证 1na\frac{1}{n^a}na1 收敛， a > 1

11n⏟+12n+13n⏟+14n+15n16n+17n⏟+...\underbrace{\mathop{\frac{1}{1^n}}} + \underbrace{\mathop{\frac{1}{2^n} + \frac{1}{3^n}}} + \underbrace{\mathop{\frac{1}{4^n} + \frac{1}{5^n}\frac{1}{6^n} + \frac{1}{7^n}}}+...1n1+2n1+3n1+4n1+5n16n1+7n1+...

1(2n)a+...+1(2n+1−1)a<2n(2n)a\frac{1}{(2^n)^a} +...+\frac{1}{(2^{n+1} -1)^a} < \frac{2^n}{(2^n)^a}(2n)a1+...+(2n+1−1)a1<(2n)a2n
2n(2n)a=1(2n)a−1=12a−1n\frac{2^n}{(2^n)^a} = \frac{1}{(2^n)^{a-1}} = {\frac{1}{2^{a-1}}}^n(2n)a2n=(2n)a−11=2a−11n
因为 a>1,所以，令，12a−1=w,w<1\frac{1}{2^{a-1}}=w, \ \ w<12a−11=w, w<1
所以，原式<wn原式 < w^n原式<wn
∑wn=11−w\sum w^n = \frac{1}{1-w}∑wn=1−w1
所以，上式收敛。

补充知识：
等比数列的求和公式为：a1(1−qn)1−q,q不等于1\frac{a_1(1-q^n)}{1-q},\quad q不等于11−qa1(1−qn),q不等于1

1.3 极限的定义

极限定义的记忆方式：想要任意近，就要足够近。

{对于任意的正数ϵ,若使得∣f(x)−L∣<ϵ;则存在δ,使得∣x−x0∣<δ\begin{cases} 对于任意的正数 \epsilon, \\ 若使得 |f(x) - L| < \epsilon; \\ 则存在\delta,使得|x-x_0| < \delta \end{cases} ⎩⎪⎨⎪⎧对于任意的正数ϵ,若使得∣f(x)−L∣<ϵ;则存在δ,使得∣x−x0∣<δ

极限的数学符号：

1.4 极限的运算

1.4.1 极限的四则运算

加法
lim⁡x→x0f(x)=L1\lim \limits_{x \to x_0} f(x) = L_1x→x0limf(x)=L1; lim⁡x→x0g(x)=L2\lim \limits_{x \to x_0} g(x) = L_2x→x0limg(x)=L2
则存在，lim⁡x→x0f(x)+g(x)=L1+L2\lim \limits_{x \to x_0} f(x)+g(x) = L_1 + L_2x→x0limf(x)+g(x)=L1+L2

1.4.2 极限的复合运算

lim⁡x→x0f(x)=L1\lim \limits_{x \to x_0} f(x) = L_1x→x0limf(x)=L1; lim⁡x→L1g(x)=L2\lim \limits_{x \to L_1} g(x) = L_2x→L1limg(x)=L2
则存在，lim⁡x→x0g(f(x))=L2\lim \limits_{x \to x_0} g(f(x)) = L_2x→x0limg(f(x))=L2

1.4.3 两个重要极限

lim⁡x→∞(1+1n)n=e\lim \limits_{x \to \infty} (1 + \frac{1}{n})^n = ex→∞lim(1+n1)n=e
lim⁡x→0sinxx=1→与正弦有关的函数会用到\lim_{x \to 0 }\frac{sinx}{x} = 1 \rightarrow 与正弦有关的函数会用到x→0limxsinx=1→与正弦有关的函数会用到

(1) 证明: (1+1n)n(1 + \frac{1}{n})^n(1+n1)n 有界
- 二项展开
- 1⏟≤1+n∗1n⏟≤1+n(n−1)2!1n2+n(n−1)(n−2)3!1n3+n(n−1)(n−2)(n−3)4!1n4+...⏟≤1\underbrace{1}_{\leq 1}+\underbrace{n*\frac{1}{n}}_{\leq 1} + \underbrace{\frac{n(n-1)}{2!}\frac{1}{n^2} + \frac{n(n-1)(n-2)}{3!}\frac{1}{n^3} + \frac{n(n-1)(n-2)(n-3)}{4!}\frac{1}{n^4} + ...}_{\leq 1}≤11+≤1n∗n1+≤12!n(n−1)n21+3!n(n−1)(n−2)n31+4!n(n−1)(n−2)(n−3)n41+...
- 所以 (1+1n)n≤3(1 + \frac{1}{n})^n \leq 3(1+n1)n≤3
- (1+1n)n=1+n∗1n+n(n−1)2!1n2+n(n−1)(n−2)3!1n3+n(n−1)(n−2)(n−3)4!1n4+...≤1+1+11∗2+12∗3+13∗4+...=1+1+1−12+12−13+13−14+...=1+1+1−1n≤3(1 + \frac{1}{n})^n ={1}+{n*\frac{1}{n}} + {\frac{n(n-1)}{2!}\frac{1}{n^2} + \frac{n(n-1)(n-2)}{3!}\frac{1}{n^3} + \frac{n(n-1)(n-2)(n-3)}{4!}\frac{1}{n^4} + ...} \\ \leq 1+ 1+ \frac{1}{1*2} + \frac{1}{2*3} + \frac{1}{3*4} + ... \\ = 1+ 1 + 1 - \frac{1}{2} + \frac{1}{2} - \frac{1}{3}+ \frac{1}{3} - \frac{1}{4} +... \\ = 1+ 1 + 1 - \frac{1}{n} \leq 3(1+n1)n=1+n∗n1+2!n(n−1)n21+3!n(n−1)(n−2)n31+4!n(n−1)(n−2)(n−3)n41+...≤1+1+1∗21+2∗31+3∗41+...=1+1+1−21+21−31+31−41+...=1+1+1−n1≤3
(2) 证明: (1+1n)n(1 + \frac{1}{n})^n(1+n1)n 单调递增，即(1+1n)n<(1+1n+1)n+1(1 + \frac{1}{n})^n < (1 + \frac{1}{n+1})^{n+1}(1+n1)n<(1+n+11)n+1
- 也是用二项展开来证明，和上式一样。

1.4.4 夹逼定理

lim⁡x→x0f(x)=L\lim \limits_{x \to x_0} f(x) = Lx→x0limf(x)=L; lim⁡x→x0g(x)=L\lim \limits_{x \to x_0} g(x) = Lx→x0limg(x)=L
且在(x1,x2)(x_1,x_2)(x1,x2)内，x1<x0<x2x_1< x_0 < x_2x1<x0<x2，有f(x)≤k(x)≤g(x)→lim⁡x→x0k(x)=Lf(x) \leq k(x) \leq g(x) \rightarrow \lim \limits_{x \to x_0}k(x) = Lf(x)≤k(x)≤g(x)→x→x0limk(x)=L

1.5 无穷小阶数

趋近无穷小的速度越快，阶数越大
趋近··················越慢，······越小

1.5.1 等价无穷小代还求极限

2、微分与泰勒级数

2.1 微分

2.1.1 导数

几何定义：函数的切线。

2.1.2 求导法则

2.1.3 反函数求导

定义：
x→y=f(x),其中x为自变量，y为因变量，f′=lim⁡ΔyΔx反函数可以表示为y→x=g(y),其中y为自变量，x为因变量，g′=lim⁡ΔxΔyx \rightarrow y = f(x),其中x为自变量，y为因变量，f^{'} =\lim \frac{\Delta y}{\Delta x}\\ 反函数可以表示为 y \rightarrow x = g(y),其中y为自变量，x为因变量，g^{'} =\lim \frac{\Delta x}{\Delta y}x→y=f(x),其中x为自变量，y为因变量，f′=limΔxΔy反函数可以表示为y→x=g(y),其中y为自变量，x为因变量，g′=limΔyΔx
并且满足f′(x)∗g′(y)=1f^{'}(x) * g^{'}(y) = 1f′(x)∗g′(y)=1
举个例子：
- 求：arcsin′xarc sin^{'}xarcsin′x
  - y=arcsin(x);x=sin(y)y = arc sin(x); x = sin(y)y=arcsin(x);x=sin(y)
  - y′=arcsin′(x)=1sin′(y)=1cos(arcsin(x))=11−x2y^{'} = arc sin^{'}(x)=\frac{1}{sin^{'}(y)} = \frac{1}{cos(arc sin(x))} = \frac{1}{\sqrt{1-x^2}}y′=arcsin′(x)=sin′(y)1=cos(arcsin(x))1=1−x21

2.1.4 复合函数的导数

定义：
g′(f(x))=g′(f(x))∗f′(x)g^{'}(f(x)) = g^{'}(f(x))*f^{'}(x)g′(f(x))=g′(f(x))∗f′(x)
举个例子：
- 求 (xx)′(x^x)^{'}(xx)′
  - 解析： k=elnkk = e^{lnk}k=elnk
  - (xx)′=(elnxx)′=(exlnx)′(x^x)^{'}=(e^{lnx^x})^{'} = (e^{x lnx})^{'}(xx)′=(elnxx)′=(exlnx)′ 由此变成复合函数。

2.2 泰勒级数

2.2.1 罗尔定理

定义
y=f(x)y=f(x)y=f(x) 在区间[a,b][a,b][a,b]内可导，且f(a)=f(b)f(a) = f(b)f(a)=f(b)，则一定存在c∈(a,b)c \in(a,b)c∈(a,b) 使得f′(c)=0f^{'}(c) = 0f′(c)=0

2.2.1 微分中值定理和柯西中值定理

微分中值定理定义
y=f(x)y=f(x)y=f(x) 在区间[a,b][a,b][a,b]内可导，则一定存在c∈(a,b)c \in(a,b)c∈(a,b) 使得f′(c)=f(b)−f(a)b−af^{'}(c) = \frac{f(b) - f(a)}{b - a}f′(c)=b−af(b)−f(a)
柯西中值定理定义
f(x),g(x)f(x),g(x)f(x),g(x) 在区间[a,b][a,b][a,b]内可导，且g(b)≠g(a)g(b) \neq g(a)g(b)=g(a)【即，分母不为0】，则一定存在c∈(a,b)c \in(a,b)c∈(a,b) 使得f(b)−f(a)g(b)−g(a)=f′(c)g′(c)\frac{f(b) - f(a)}{g(b) - g(a)}= \frac{f^{'}(c)}{g^{'}(c)}g(b)−g(a)f(b)−f(a)=g′(c)f′(c)

2.2.3 洛必达法则

用处
用于判断00;∞∞\frac{0}{0};\frac{\infty}{\infty}00;∞∞的情况

定义
lim⁡x→af(x)=0,lim⁡x→ag(x)=0\lim \limits_{x \to a}f(x) = 0, \lim \limits_{x \to a}g(x) = 0x→alimf(x)=0,x→alimg(x)=0,且满足f(x),g(x)在 a 点空心邻域可导，则：lim⁡x→af(x)g(x)=lim⁡x→af′(a)g′(a)\lim_{x \to a} \frac{f(x)}{g(x)} = \lim_{x \to a} \frac{f^{'}(a)}{g^{'}(a)}x→alimg(x)f(x)=x→alimg′(a)f′(a)

2.2.4 泰勒展开的证明

带尾项的证明
f(x)=f(x0)+f′(x0)(x−x0)+f′′(x0)2!(x−x0)2+O(x−x0)2,其中x=x0+Δxf(x) = f(x_0) + f^{'}(x_0)(x - x_0) + \frac{f^{''}(x_0)}{2!}(x - x_0)^2 + O(x - x_0)^2, 其中x= x_0 + \Delta xf(x)=f(x0)+f′(x0)(x−x0)+2!f′′(x0)(x−x0)2+O(x−x0)2,其中x=x0+Δx
可以直接使用洛必达法则直接证明。
exe^xex 在0点处的泰勒展开
ex=1+x+x22!+x33!+...e^x = 1+ x + \frac{x^2}{2!} + \frac{x^3}{3!}+...ex=1+x+2!x2+3!x3+...
sin(x)sin(x)sin(x) 在0点处的泰勒展开
sin(x)=x−x33!+x55!−x77!+...sin(x) = x - \frac{x^3}{3!}+ \frac{x^5}{5!} - \frac{x^7}{7!} +...sin(x)=x−3!x3+5!x5−7!x7+...
cos(x)cos(x)cos(x) 在0点处的泰勒展开
cos(x)=1−x22!+x44!−x66!+..cos(x) = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \frac{x^6}{6!} +..cos(x)=1−2!x2+4!x4−6!x6+..

2.3 偏导数

∂f(a,b)∂a=lim⁡Δa→0f(a+Δa,b)−f(a,b)Δa\frac{\partial f(a,b)}{\partial a} = \lim \limits_{\Delta a \to 0}\frac{f(a+\Delta a, b) - f(a,b)}{\Delta a}∂a∂f(a,b)=Δa→0limΔaf(a+Δa,b)−f(a,b)

对称性
∂∂f∂a∂b=∂∂f∂b∂a\qquad \frac{\partial \frac{\partial f}{\partial a}}{\partial b} = \frac{\partial \frac{\partial f}{\partial b}}{\partial a}∂b∂∂a∂f=∂a∂∂b∂f
上式=∂2f∂a∂b\\ \qquad上式= \frac{\partial ^2f}{\partial a \partial b}上式=∂a∂b∂2f

2.3.1 链式求导法则

已知：f(u,v),u(x,y),v(x,y)f(u,v), u(x,y), v(x,y)f(u,v),u(x,y),v(x,y)
则，可以得到 ∂f∂x=∂f∂u∂u∂x+∂f∂v∂v∂x\frac{\partial f}{\partial x} = \frac{\partial f}{\partial u}\frac{\partial u}{\partial x} + \frac{\partial f}{\partial v}\frac{\partial v}{\partial x}∂x∂f=∂u∂f∂x∂u+∂v∂f∂x∂v

2.3.2 梯度算符、拉氏算符

梯度运算符
Δ⃗={∂∂x,∂∂y,∂∂z}\vec{\Delta} = \{ \frac{\partial}{\partial x}, \frac{\partial}{\partial y}, \frac{\partial}{\partial z} \}Δ={∂x∂,∂y∂,∂z∂}
拉普拉斯运算符
Δ⃗Δ⃗=∂2∂2x+∂2∂2y+∂2∂2z\vec{\Delta} \vec{\Delta}= \frac{\partial ^2}{\partial ^2 x}+ \frac{\partial ^2}{\partial ^2 y}+ \frac{\partial ^2}{\partial ^2 z}ΔΔ=∂2x∂2+∂2y∂2+∂2z∂2
- 重要性质：
  任意坐标下，拉氏算符不变。
  极坐标下拉氏运算符(x,y)→(r,θ)(∂z∂r)2+1r2(∂z∂θ)2=(∂z∂x)2+(∂z∂y)2极坐标下拉氏运算符 (x,y) \rightarrow (r, \theta)\\ (\frac{\partial z}{\partial r})^2 + \frac{1}{r^2}(\frac{\partial z}{\partial \theta})^2 = (\frac{\partial z}{\partial x})^2 + (\frac{\partial z}{\partial y})^2极坐标下拉氏运算符(x,y)→(r,θ)(∂r∂z)2+r21(∂θ∂z)2=(∂x∂z)2+(∂y∂z)2

3、积分与微积分基本定理

几何定义：函数与 XXX轴之间的有向面积。
代数定义：无穷求和。

3.0 积分计算方式→\rightarrow→变量替换

3.1 积分计算方式→\rightarrow→分部积分

定义：
已知，f(x),g(x)f(x), g(x)f(x),g(x)
则，f(x)g(x)+c=∫f(x)g′(x)dx+∫g(x)f′(x)dx=∫f(x)dg(x)+∫g(x)df(x)f(x)g(x) + c = \int f(x)g^{'}(x) dx + \int g(x)f^{'}(x) dx \\ = \int f(x)dg(x) + \int g(x)df(x)f(x)g(x)+c=∫f(x)g′(x)dx+∫g(x)f′(x)dx=∫f(x)dg(x)+∫g(x)df(x)
举个例子
- ∫x2exdx=∫x2dex=x2dex−∫exdx2\int x^2 e^x dx = \int x^2 de^x = x^2 de^x -\int e^x dx^2∫x2exdx=∫x2dex=x2dex−∫exdx2

4、牛顿法

对于机器学习或统计算法的最后都会转换成一个优化的问题。
也就是：求某一个损失函数的极小值。

1）注意事项（局限性）

2）具体做法

本质是：二次逼近

5、正态分布

5.1 标准的正态分布

∫−∞+∞e−x2dx=π\int_{-\infty}^{+\infty} e^{-x^2} dx = \sqrt{\pi}∫−∞+∞e−x2dx=π

具体计算过程如下所示：
∫−∞+∞e−x2dx∫−∞+∞e−y2dy=∫−∞+∞∫−∞+∞e−(x2+y2)dxdy=∫02π∫0+∞e−r2rdrdθ=∫02πdθ∫0+∞e−r2rdr=π\int_{-\infty}^{+\infty} e^{-x^2} dx\int_{-\infty}^{+\infty} e^{-y^2} dy =\\ \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty} e^{-(x^2 + y^2)} dxdy= \\ \int_{0}^{2\pi}\int_{0}^{+\infty} e^{-r^2} r dr d\theta = \\ \int_{0}^{2\pi} d\theta \int_{0}^{+\infty} e^{-r^2} r dr = \pi∫−∞+∞e−x2dx∫−∞+∞e−y2dy=∫−∞+∞∫−∞+∞e−(x2+y2)dxdy=∫02π∫0+∞e−r2rdrdθ=∫02πdθ∫0+∞e−r2rdr=π
由上式可以得到
1π∫e−x2dx=1\frac{1}{\sqrt{\pi}} \int e^{-x^2} dx = 1π1∫e−x2dx=1
进而得到 p(x)=1πe−x2;∫p(x)=1p(x) = \frac{1}{\sqrt{\pi}} e^{-x^2} ;\int p(x) = 1p(x)=π1e−x2;∫p(x)=1
两点修正：
- 期望为 μ\muμ 最高点的位置。
- 方差为 σ2\sigma ^2σ2 从峰值下落的快慢。

N(μ,σ)=12πσe−(x−μ)22σ2N(\mu, \sigma) = \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x - \mu)^2}{2\sigma^2}}N(μ,σ)=2πσ1e−2σ2(x−μ)2

5.2 大数定律+中心极限定理

任意的概率分布作独立叠加将还原为正态分布。

5.3 误差函数

定义：
偏离正态分布的原点会积累多少误差
具体公式：
errorf(x)=2π∫0xe−t2dt=2N(0,1)−1error \ f(x) = \frac{2}{\sqrt{\pi}} \int_0^x e^{-t^2}dt = 2N(0,1) - 1error f(x)=π2∫0xe−t2dt=2N(0,1)−1
示意图：

5.4 二维正态分布

p(x)=1πe−x2p(x) = \frac{1}{\sqrt{\pi}} e^{-x^2}p(x)=π1e−x2

p(x,y)=p(x)p(y)若x,y相会独立=1πe−x21πe−y2p(x,y) = p(x) p(y) \quad若x,y 相会独立\\ = \frac{1}{\sqrt{\pi}} e^{-x^2}\frac{1}{\sqrt{\pi}} e^{-y^2}p(x,y)=p(x)p(y)若x,y相会独立=π1e−x2π1e−y2
x,yx,yx,y相关不独立的正态分布
p(x,y)=12πσ1σ21−ρ2exp(−12(1−ρ2)((x−μx)2σx2−2ρx−μxσxy−μyσy+(y−μy)2σy2))p(x,y) = \frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1- \rho^2}} exp(- \frac{1}{2(1-\rho^2)}(\frac{(x - \mu_x)^2}{\sigma_x^2} - 2\rho \frac{x - \mu_x}{\sigma_x} \frac{y - \mu_y}{\sigma_y}+\frac{(y - \mu_y)^2}{\sigma_y^2}))p(x,y)=2πσ1σ21−ρ21exp(−2(1−ρ2)1(σx2(x−μx)2−2ρσxx−μxσyy−μy+σy2(y−μy)2))### 5.4.1 方差
σ2=E[(x−E(x))2]\sigma^2 = E[ (x - E(x))^2]σ2=E[(x−E(x))2]

5.4.2 协方差

cov(x,y)=E[(x−E(x))∗(y−E(y))]cov(x,y) = E[(x - E(x)) * (y - E(y))]cov(x,y)=E[(x−E(x))∗(y−E(y))]

为0 ，则x,yx,yx,y是相互独立的。
不为0，则x,yx,yx,y具有一定的相关性。

5.4.3 相关系数 ρ\rhoρ

ρx,y=cov(x,y)σ(x)σ(y)\rho_{x,y} = \frac{cov(x,y)}{\sigma (x) \sigma (y)}ρx,y=σ(x)σ(y)cov(x,y)

机器学习---数学基础（一、微积分）相关推荐

人工智能之数学基础篇—微积分
人工智能之数学基础篇-微积分 1 微积分的基本思想 2 微积分的解释 3 定积分 3.1 定积分的定义 3.2 定积分的几何含义 4 定积分的性质 5 牛顿一莱布尼茨公式 5.1 积分上限的函数及其导 ...
学会python需要数学吗_机器学习数学基础：学习线性代数，千万不要误入歧途！推荐一个正确学习路线...
机器学习数学基础:学习线性代数,千万不要误入歧途!推荐一个正确学习路线序言写完<机器学习深度研究:机器学习中的高等数学/微积分及Python实现>,觉得十分对不起读者,写的自己都不满意 ...
机器学习数学基础学习笔记
机器学习数学基础学习笔记 1. 微积分 1.1 导数一阶导数,是函数的切线斜率二阶导数,是切线斜率的变化速度,即曲线的弯曲程度,也称为"曲率"(curvature) 1.2 ...
【本站作品】机器学习数学基础专辑
本文推荐一份机器学习数学基础专辑,在线阅读地址:(数学基础专辑), 同时文末提供下载. 机器学习,需要一定的数学基础,也需要一定的代码能力.机器学习从业者数学基础不扎实,只会用一些工具和框架,相当于某 ...
视频教程-机器学习数学基础--概率论与数理统计视频教学-机器学习
机器学习数学基础--概率论与数理统计视频教学北京大学计算机技术及应用专业,从事IT行业十几年,主要从事java.Linux.手机应用开发.人工智能神经网络方面的工作.曾在中国数码集团.厦门三五互联集 ...
机器学习中的微积分基础
机器学习中的微积分基础夹逼定理及重要极限极限存在定理导数方向导数与梯度凸函数泰勒公式机器学习中的微积分基础夹逼定理及重要极限当x∈U(x0,r)x\in U(x_{0},r)时,有g ...
机器学习数学基础--凸优化
机器学习数学基础--凸优化 1.计算几何是研究什么的? 2.计算几何理论中(或凸集中)过两点的一条直线的表达式,是如何描述的?与初中数学中那些直线方程有什么差异?有什么好处? **在计算几何理论中(或 ...
机器学习数学基础之Python矩阵运算
机器学习数学基础之Python矩阵运算 1.在Jupyter中写下Python矩阵基本运算学习记录 1.1 python矩阵操作 1.1.1 首先打开jupyter,引入numpy 1.1.2 创建一 ...
机器学习算法数学基础之——微积分篇（1）
最近在听台大老师林轩田老师的機器學習基石课程,意识到做好机器学习必须要把根本学好,也就是机器学习算法的基础 -- 数学.高等数学虽然在本科时已经学过了,但很多概念和定理由于太久不使用,很多细节已经 ...

机器学习---数学基础（一、微积分）