中心极限定理

设随机变量X1，X2，…Xn，独立同分布，并且具有有限的数学期望和方差：E(Xi)=μE(X_i)=\muE(Xi)=μ，D(Xi)=σ2D(X_i)=\sigma^2D(Xi)=σ2，则对任意实数x，分布函数

满足

该定理说明，当n很大时，随机变量

近似地服从标准正态分布N(0，1)。因此，当n很大时，

近似地服从正态分布N(nμ，nσ2)N(nμ，nσ2)N(nμ，nσ2)．该定理是中心极限定理最简单又最常用的一种形式，在实际工作中，只要n足够大，便可以把独立同分布的随机变量之和当作正态变量。这种方法在数理统计中用得很普遍，当处理大样本时，它是重要工具。

中心极限定理的简单应用

参考资料[1]

高斯分布

高斯分布Gaussian distribution，也叫正太分布Normal distribution，是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。

一元高斯分布

若随机变量符合一元高斯分布X∼N(μ,σ2)X\sim N(\mu,\sigma^2)X∼N(μ,σ2)，则有如下的概率密度函数

满足

而如果我们对随机变量XXX进行标准化Z=X−μσZ = \frac{X-\mu}{\sigma }Z=σX−μ, 那么变量ZZZ服从0均值，1方程的一元标准高斯分布。

多元高斯分布

多维高斯分布的公式：

其中x=(x1,x2,...,xn)x=(x_1,x_2,...,x_n)x=(x1,x2,...,xn)为一个n维向量，μ\muμ是均值向量，∑\sum∑是协方差矩阵。

多元高斯分布的的线性变换

两个高斯分布的KL散度

参考资料[5]

两个一元（一维）高斯分布的KL散度KL(p1∣∣p2)KL(p_1||p_2)KL(p1∣∣p2)：

两个多维高斯分布的KL散度KL(p1∣∣p2)KL(p_1||p_2)KL(p1∣∣p2)：

这个在VAE算法中会用到，记录一下，如果看VAE的时候可以查阅。

参考资料

[1] 中心极限定理，百度百科
[2] https://zhuanlan.zhihu.com/p/38501770
[3] https://zhuanlan.zhihu.com/p/58987388
[4] https://zhuanlan.zhihu.com/p/90272131
[5] VAE（1）——从KL说起

深度学习/机器学习入门基础数学知识整理（八）：中心极限定理，一元和多元高斯分布相关推荐

深度学习/机器学习入门基础数学知识整理（一）：线性代数基础，矩阵，范数等
前面大概有2年时间,利用业余时间断断续续写了一个机器学习方法系列,和深度学习方法系列,还有一个三十分钟理解系列(一些趣味知识):新的一年开始了,今年给自己定的学习目标--以补齐基础理论为重点,研究一些 ...
深度学习/机器学习入门基础数学知识整理（四）：拟牛顿法、BFGS、L-BFGS、DFP、共轭梯度法
欢迎查看我的博客文章合集:我的Blog文章索引::机器学习方法系列,深度学习方法系列,三十分钟理解系列等文章目录拟牛顿法 BFGS算法(Broyden–Fletcher–Goldfarb–Shan ...
深度学习/机器学习入门基础数学知识整理（六）：Hoeffding不等式，
开写之前先推荐一个林轩田先生的书,<Learning From Data>,我从网上得到电子版资源放在这里获取,仅用于学习交流之用,不可用与商用,谢谢.网上还有配套的Slides,我虽然还 ...
深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数
Jensen不等式及其延伸凸函数最基本的不等式性质,又称Jensen不等式[1] f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) ...
深度学习/机器学习入门基础数学知识整理（七）：数学上sup、inf含义，和max、min的区别
文章目录 inf和sup的定义 inf和sup的性质.证明 sup, inf和max, min的区别参考资料 inf和sup的定义经常在文献中看到inf和sup,很多人不知道是什么意思.其实这两个 ...
深度学习---从入门到放弃（九）RNN入门
深度学习-从入门到放弃(九)RNN入门 1.RNN简介 RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络.回想一下我们之前说到过的CNN,它可以通过在空间上共 ...
【机器学习】机器学习和深度学习概念入门
机器学习和深度学习概念入门(上) 作者:谭东来源:机器学习算法与自然语言处理目录 1 人工智能.机器学习.深度学习三者关系 2 什么是人工智能 3 什么是机器学习 4 机器学习之 ...
史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(一)
喵喵喵~大家元宵节快乐噢.有没有要陪小夕出去看烟花的吖... 小夕借此给热爱学习的喵喵们献上这篇拙文,希望不要嫌弃哦~ 还有,小夕画的封面图是不是很棒呀(￣∇￣) 小夕发现现在想进军人工智能领域的程序 ...
[面试笔试整理1]：深度学习机器学习面试问题准备（必会）
此系列三篇文章的原文链接面试笔试整理1:深度学习机器学习面试问题准备(必会) 1.神经网络基础问题 (1)Backpropagation(要能推倒) 后向传播是在求解损失函数L对参数w求导时候用到的 ...
知识图谱论文阅读（八）【转】推荐系统遇上深度学习(二十六)--知识图谱与推荐系统结合之DKN模型原理及实现
学习的博客: 推荐系统遇上深度学习(二十六)–知识图谱与推荐系统结合之DKN模型原理及实现知识图谱特征学习的模型分类汇总知识图谱嵌入(KGE):方法和应用的综述论文: Knowledge Gra ...

深度学习/机器学习入门基础数学知识整理（八）：中心极限定理，一元和多元高斯分布

文章目录