高斯分布的积分期望E(X)方差V(X)的理论推导

本文主要推导高斯分布（正态分布）的积分，期望E(X)和方差V(X)。

其中主要是方差V(X)的推导，本文介绍3种高斯方差的推导方法。

高斯分布的概率密度函数：
f(x)=12πδe−(x−u)22δ2(1)f(x) = \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}} \tag{1} f(x)=2πδ1e−2δ2(x−u)2(1)

高斯分布的概率分布函数（归一化）：
F=∫−∞+∞f(x)dx=∫−∞+∞12πδe−(x−u)22δ2dx=12πδ∫−∞+∞e−(x−u)22δ2d(x−u)=12πδ∫−∞+∞e−x22δ2dx(2)\begin{aligned} F &=\int^{ +\infty }_{ - \infty }f(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{(x-u)^2}{2\delta^2}}d(x-u)}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \end{aligned} \tag{2} F=∫−∞+∞f(x)dx=∫−∞+∞2πδ1e−2δ2(x−u)2dx=2πδ1∫−∞+∞e−2δ2(x−u)2d(x−u)=2πδ1∫−∞+∞e−2δ2x2dx(2)

概率密度函数的积分为F(x)=1F(x)=1F(x)=1，如下开始证明。这里直接计算F(x)F(x)F(x)比较困难，但可以利用双重积分转极坐标计算体积的方式计算F(x)2F(x)^2F(x)2，如下
F2=12πδ∫−∞+∞e−x22δ2dx12πδ∫−∞+∞e−y22δ2dy=12πδ2∫−∞+∞∫−∞+∞e−x2+y22δ2dxdy(3)\begin{aligned} F^2 &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{y^2}{2\delta^2}}dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}dxdy} \end{aligned} \tag{3} F2=2πδ1∫−∞+∞e−2δ2x2dx2πδ1∫−∞+∞e−2δ2y2dy=2πδ21∫−∞+∞∫−∞+∞e−2δ2x2+y2dxdy(3)

令 x=rsin⁡θx=r\sin\thetax=rsinθ , y=rcos⁡θy=r\cos\thetay=rcosθ , 坐标系转换到极坐标系就行积分
F2=12πδ2∫02π∫0+∞e−r22δ2rdrdθ=12πδ2∫02πdθ∫0+∞e−r22δ2rdr=1δ2∫0+∞e−r22δ2rdr=∫0+∞e−r22δ2d(r22δ2)=∫0+∞e−mdm=1(4)\begin{aligned} F^2 &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }d\theta\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{\delta^2}\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}d(\frac{r^2}{2\delta^2})}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-m}dm}\\\\ &=1 \end{aligned} \tag{4} F2=2πδ21∫02π∫0+∞e−2δ2r2rdrdθ=2πδ21∫02πdθ∫0+∞e−2δ2r2rdr=δ21∫0+∞e−2δ2r2rdr=∫0+∞e−2δ2r2d(2δ2r2)=∫0+∞e−mdm=1(4)

即可证明得：
F=∫−∞+∞12πδe−(x−u)22δ2dx=1(5)F =\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}=1\tag{5} F=∫−∞+∞2πδ1e−2δ2(x−u)2dx=1(5)

注：这里可以由 F2=1F^2=1F2=1 看出，FFF为一个2维正态分布，其在二维空间中体积为1

高斯分布的期望 E(x)=uE(x)=uE(x)=u 证明：
E(x)=∫−∞+∞xf(x)dx=∫−∞+∞12πδe−(x−u)22δ2xdx=∫−∞+∞12πδe−x22δ2(x+u)dx=∫−∞+∞12πδe−x22δ2xdx⏟0+u∫−∞+∞12πδe−x22δ2dx⏟1=u(6)\begin{aligned} E(x)&=\int^{ +\infty }_{ - \infty }xf(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}xdx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}(x+u)dx}\\\\ &=\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx}}_{0}+u\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}dx}}_{1}\\\\ &=u \end{aligned}\tag{6} E(x)=∫−∞+∞xf(x)dx=∫−∞+∞2πδ1e−2δ2(x−u)2xdx=∫−∞+∞2πδ1e−2δ2x2(x+u)dx=0∫−∞+∞2πδ1e−2δ2x2xdx+u1∫−∞+∞2πδ1e−2δ2x2dx=u(6)

由于 ∫−∞+∞12πδe−x22δ2xdx\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx}∫−∞+∞2πδ1e−2δ2x2xdx 为奇函数，积分为0，因此可得高斯分布的期望： E(x)=uE(x)=uE(x)=u

高斯分布的方差 V(x)=δ2V(x)=\delta^2V(x)=δ2 证明，根据方差定义为误差平方的期望：
V=∫−∞+∞(x−u)2f(x)dx=∫−∞+∞12πδe−(x−u)22δ2(x−u)2dx=∫−∞+∞12πδe−x22δ2x2dx(7)\begin{aligned} V&=\int^{ +\infty }_{ - \infty }(x-u)^2f(x)dx\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx} \end{aligned}\tag{7} V=∫−∞+∞(x−u)2f(x)dx=∫−∞+∞2πδ1e−2δ2(x−u)2(x−u)2dx=∫−∞+∞2πδ1e−2δ2x2x2dx(7)

如下介绍3种推导方法，第一种最为复杂的推导，先计算 V2V^2V2
V2=∫−∞+∞12πδe−x22δ2x2dx∫−∞+∞12πδe−y22δ2y2dy=12πδ2∫−∞+∞∫−∞+∞e−x2+y22δ2x2y2dxdy(8)\begin{aligned} V^2&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{y^2}{2\delta^2}}y^2dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}x^2y^2dxdy} \end{aligned}\tag{8} V2=∫−∞+∞2πδ1e−2δ2x2x2dx∫−∞+∞2πδ1e−2δ2y2y2dy=2πδ21∫−∞+∞∫−∞+∞e−2δ2x2+y2x2y2dxdy(8)

令 x=rsin⁡θx=r\sin\thetax=rsinθ , y=rcos⁡θy=r\cos\thetay=rcosθ
V2=12πδ2∫02π∫0+∞r4sin⁡2θcos⁡2θe−r22δ2rdrdθ=12πδ2∫02πsin⁡2θcos⁡2θdθ∫0+∞r5e−r22δ2dr(9)\begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {r^4\sin^2\theta \cos^2\theta e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr} \end{aligned}\tag{9} V2=2πδ21∫02π∫0+∞r4sin2θcos2θe−2δ2r2rdrdθ=2πδ21∫02πsin2θcos2θdθ∫0+∞r5e−2δ2r2dr(9)

上面两部分可分开计算，首先计算左边关于 θ\thetaθ 的积分，由于 sin⁡2θ=1−cos⁡2θ2\sin^2 \theta=\frac{1-\cos2\theta}{2}sin2θ=21−cos2θ ：
∫02πsin⁡2θcos⁡2θdθ=14∫02πsin⁡22θdθ=14∫02π1−cos⁡4θ2dθ=18∫02πdθ−18∫02πcos⁡4θdθ=π4−132∫08πcos⁡θdθ=π4(10)\begin{aligned} \int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta}&=\frac{1}{4}\int^{ 2\pi }_{ 0 }{\sin^22\theta d\theta}\\\\ &=\frac{1}{4}\int^{ 2\pi }_{ 0 }\frac{1-\cos4\theta }{2} d\theta\\\\ &=\frac{1}{8}\int^{ 2\pi }_{ 0 }d\theta-\frac{1}{8}\int^{ 2\pi }_{ 0} {\cos4\theta } d\theta\\\\ &=\frac{\pi}{4}-\frac{1}{32}\int^{ 8\pi }_{ 0} {\cos\theta } d\theta\\\\ &=\frac{\pi}{4} \end{aligned}\tag{10} ∫02πsin2θcos2θdθ=41∫02πsin22θdθ=41∫02π21−cos4θdθ=81∫02πdθ−81∫02πcos4θdθ=4π−321∫08πcosθdθ=4π(10)

计算右边关于 rrr 的积分，设 m=r2m=r^2m=r2
∫0+∞r5e−r22δ2dr=12∫0+∞m2e−m2δ2dm=−δ2∫0+∞m2d(e−m2δ2)=−δ2(m2e−m2δ2∣0+∞−∫0+∞e−m2δ2d(m2))lim⁡m→+∞m2e−m2δ2=0⟶=2δ2∫0+∞me−m2δ2dm=−4δ4∫0+∞md(e−m2δ2)=−4δ4(me−m2δ2∣0+∞−∫0+∞e−m2δ2dm)lim⁡m→+∞me−m2δ2=0⟶=4δ4∫0+∞e−m2δ2dm=8δ6(11)\begin{aligned} \int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr&=\frac{1}{2}\int^{ +\infty }_{ 0 }m^2e^{-\frac{m}{2\delta^2}}dm\\\\ &=-\delta^2\int^{ +\infty }_{ 0 }m^2d(e^{-\frac{m}{2\delta^2}})\\\\ &=-\delta^2 \bigg( m^2e^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}d(m^2)\bigg)\\\\ \lim_{m\rightarrow+\infty} m^2e^{-\frac{m}{2\delta^2}}=0\longrightarrow&=2\delta^2 \int^{ +\infty }_{ 0 }me^{-\frac{m}{2\delta^2}}dm\\\\ &=-4\delta^4\int^{ +\infty }_{ 0 }md(e^{-\frac{m}{2\delta^2}})\\\\ &=-4\delta^4 \bigg( me^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}dm\bigg)\\\\ \lim_{m\rightarrow+\infty} me^{-\frac{m}{2\delta^2}}=0\longrightarrow&=4\delta^4 \int^{ +\infty }_{ 0 }e^{-\frac{m}{2\delta^2}}dm\\\\ &=8\delta^6 \end{aligned}\tag{11} ∫0+∞r5e−2δ2r2drm→+∞limm2e−2δ2m=0⟶m→+∞limme−2δ2m=0⟶=21∫0+∞m2e−2δ2mdm=−δ2∫0+∞m2d(e−2δ2m)=−δ2(m2e−2δ2m∣0+∞−∫0+∞e−2δ2md(m2))=2δ2∫0+∞me−2δ2mdm=−4δ4∫0+∞md(e−2δ2m)=−4δ4(me−2δ2m∣0+∞−∫0+∞e−2δ2mdm)=4δ4∫0+∞e−2δ2mdm=8δ6(11)

因此
V2=12πδ2∫02πsin⁡2θcos⁡2θdθ⋅∫0+∞r5e−r22δ2rdr=12πδ2⋅π4⋅8δ6=δ4(12)\begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\cdot\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{2\pi\delta^2}\cdot\frac{\pi}{4}\cdot8\delta^6\\\\ &=\delta^4 \end{aligned}\tag{12} V2=2πδ21∫02πsin2θcos2θdθ⋅∫0+∞r5e−2δ2r2rdr=2πδ21⋅4π⋅8δ6=δ4(12)

所以 V=δ2V=\delta^2V=δ2，即证。

如下介绍第二种较为巧妙的推导：
V=∫−∞+∞12πδe−(x−u)22δ2(x−u)2dx=∫−∞+∞12πδe−x22δ2x2dx=−δ2π∫−∞+∞xd(e−x22δ2)=−δ2π(xe−x22δ2∣−∞+∞⏟0−∫−∞+∞e−x22δ2dx)=δ2π∫−∞+∞e−x22δ2dx=δ2⋅12πδ∫−∞+∞e−x22δ2dx=δ2(13)\begin{aligned} V&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty } xd\Big(e^{-\frac{x^2}{2\delta^2}}\Big)\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\bigg(\underbrace{xe^{-\frac{x^2}{2\delta^2}}|^{+\infty}_{-\infty}}_{0}-\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\bigg)\\\\ &=\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \cdot\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \end{aligned}\tag{13} V=∫−∞+∞2πδ1e−2δ2(x−u)2(x−u)2dx=∫−∞+∞2πδ1e−2δ2x2x2dx=−2πδ∫−∞+∞xd(e−2δ2x2)=−2πδ(0xe−2δ2x2∣−∞+∞−∫−∞+∞e−2δ2x2dx)=2πδ∫−∞+∞e−2δ2x2dx=δ2⋅2πδ1∫−∞+∞e−2δ2x2dx=δ2(13)

第三种证明方法则利用方差特性：
V(x)=E((x−E(x))2)=E(x2−2xE(x)+E2(x))=E(x2)−2E(x)E(x)+E2(x)=E(x2)−E2(x)=E(x2)−u2(14)\begin{aligned} V(x)&=E\Big((x-E(x))^2\Big)\\\\ &=E\Big(x^2-2xE(x)+E^2(x)\Big)\\\\ &=E(x^2)-2E(x)E(x)+E^2(x)\\\\ &=E(x^2)-E^2(x)\\\\ &=E(x^2)-u^2 \end{aligned}\tag{14} V(x)=E((x−E(x))2)=E(x2−2xE(x)+E2(x))=E(x2)−2E(x)E(x)+E2(x)=E(x2)−E2(x)=E(x2)−u2(14)

这里只需再求取 E(x2)E(x^2)E(x2) 即可

期望 E(x)E(x)E(x) 的另一个叫法是分布函数的 一阶矩 ，而 E(x2)E(x^2)E(x2) 也叫 二阶矩，这里就是求概率分布的二阶矩

E(x2)=∫−∞+∞12πδe−(x−u)22δ2x2dx(15)E(x^2)=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}x^2dx}\tag{15}E(x2)=∫−∞+∞2πδ1e−2δ2(x−u)2x2dx(15)

参考第二种证明的方法，可以比较快速的得到：

E(x2)=δ2+u2(16)E(x^2)=\delta^2+u^2\tag{16}E(x2)=δ2+u2(16)

从而可得 V(x)=E(x2)−u2=δ2V(x)=E(x^2)-u^2=\delta^2V(x)=E(x2)−u2=δ2 , 即证明。

感悟：三种方法证明完成，最近在看《概率机器人》，里面所有理论基础都是概率贝叶斯，索性重新推导了高斯分布，发现高斯分布真是一个伟大的发现，用一个如此优雅的曲线描绘这个世界的创造规律，从而让所有的不确定性可以被估计和优化，打开了人类与上帝对话的一个窗口，窥探上帝的造物规律。

参考文献：

https://blog.csdn.net/qq_37549266/article/details/95942282
https://www.zhihu.com/question/23971601

高斯分布的积分期望E(X)方差V(X)的理论推导相关推荐

期望E，方差D，协方差Cov，主成分分析PCA
期望E,方差D,协方差Cov,主成分分析PCA,应用于图像分类识别 1.期望方差的理解 2.协方差与协方差矩阵 3.数据降维的需求背景 4.PCA就是从解决特征之间的相关性入手,剔除冗余特征 5.PC ...
数学期望(均值)、方差、协方差、相关系数和矩
文章目录 1 前言 2 数学期望(均值).方差,矩.协方差和相关系数 2.1 数学期望(均值) 2.2 方差 2.3 协方差 2.4 相关系数 2.5 矩 1 前言随机变量的分布函数完整地描述了随机 ...
两个高斯分布乘积的理论推导
本文主要推导高斯分布(正态分布)的乘积,以便能更清楚的明白Kalman滤波的最后矫正公式. Kalman滤波主要分为两大步骤: 1.系统状态转移估计,2.系统测量矫正: 在第2步中的主要理论依据就是两 ...
【Derivation】随机过程及应用（三） - 高斯分布/正态分布的期望和方差
Provement of Gaussian Distribution: 设正态分布概率密度函数是 f(x)=12π−−√σ∗e−(x−u)22σ2 f(x)=\frac{1}{\sqrt{2π}\si ...
期望、方差、协方差、协方差函数、期望函数、方差函数
文章目录期望方差协方差协方差矩阵相关系数自协方差协方差函数 / 核函数期望函数,方差函数期望对离散型随机变量X,其概率分布函数(probability density func ...
如何快速理解IMU积分、预积分、误差、方差
IMU积分预积分离散时间预积分预积分误差预积分量的方差
样本均值的期望等于总体期望，样本方差的期望等于总体方差。
设,为总体的一个样本,且其样本均值为,样本方差为,总体方差为σ²,总体期望为μ. 证明1:为什么样本均值的期望等于总体的期望? 因为对于简单随机抽样的样本: 与总体是同分布的,所以各样本的期望均为总体 ...
试推导取自总体X（期望为μ，方差为σ＾2）的样本X1,X2...Xn的样本方差S＾2的期望
问题所在: 用到的样本方差公式: 推导过程最后结果:
（EWC）Overcoming Catastrophic Forgetting in Neural Network
论文链接:Overcoming Catastrophic Forgetting in Neural Network 1.论文基础思路文章开发了一种类似于人工神经网络突触整合的算法,我们称之为弹性权重 ...

高斯分布的积分期望E(X)方差V(X)的理论推导

高斯分布的积分期望E(X)方差V(X)的理论推导相关推荐

最新文章

热门文章