【日常分享】概率密度函数与概率分布函数理解

文章目录

前言
概率密度函数
概率质量函数
概率分布函数
- 概率分布函数的性质
举例说明
备注
借鉴

前言

最近在搞深度学习，统计数据分布时发现概率论这部分的知识点掌握的不是很好，因此在网上查阅了部分资料，整理如下。

本文主要整理概率密度函数（probability density function）和概率分布函数（probability distribution function）；主要针对连续型随机变量，也会稍微提及离散型随机变量。

概率密度函数

假设XXX是连续型随机变量，那么可以定义它的概率密度函数（probability density function, PDF）fX(x)f_X(x)fX(x)，有时简称为密度函数。

我们用概率密度函数在某一区间[a,b][a,b][a,b]上的积分来刻画随机变量XXX落在这个区间中的概率，即P(a≤X≤b)=∫abfX(x)dxP(a\le X \le b) = \int_a^bf_X(x)dxP(a≤X≤b)=∫abfX(x)dx

概率质量函数

假设XXX是离散型随机变量，那么可以定义它的概率质量函数（probability mass function, PMF）pX(x)p_X(x)pX(x)。

与连续型随机变量不同，这里的概率质量函数其实就是离散型随机变量的分布律，即pX(x)=P(X=x)p_X(x) = P(X = x)pX(x)=P(X=x)。

比如对于掷一枚均匀硬币，如果正面令X=1X = 1X=1，如果反面令X=0X = 0X=0。那么它的概率质量函数就是：

概率分布函数

概率分布函数（probability distribution function），有时也叫累积分布函数（cumulative distribution function ,CDF）。

无论XXX是连续型随机变量还是离散型随机变量，都可以定义其概率分布函数FX(x)F_X(x)FX(x)。

FX(x)=P(X≤x)F_X(x) = P(X\le x)FX(x)=P(X≤x)

对于连续型随机变量，FX(x)=P(X≤x)=∫−∞xfX(t)dtF_X(x) = P(X\le x) = \int_ {-\infty}^xf_X(t)dtFX(x)=P(X≤x)=∫−∞xfX(t)dt。

也就是说：
概率分布函数是概率密度函数的积分；
概率密度函数是概率分布函数的导数。

对于离散型随机变量，其概率分布函数是阶梯状的分段函数，比如举例中的掷硬币随机变量，它的概率分布函数如下：

概率分布函数的性质

（1）概率分布函数是单调递增的

对于任意的x1<x2x_1<x_2x1<x2，总有P(X≤x1)<P(X≤x2)P(X \le x_1) < P(X \le x_2)P(X≤x1)<P(X≤x2)，所以FX(x1)<FX(x2)F_X(x_1)<F_X(x_2)FX(x1)<FX(x2)。

（2）lim⁡x→∞FX(x)=1,lim⁡x→−∞FX(x)=0\lim_{x \to \infty} F_X(x) = 1, \lim_{x \to -\infty} F_X(x) = 0limx→∞FX(x)=1,limx→−∞FX(x)=0

也就是说，当xxx趋向于正无穷大时，概率分布函数的值会等于1，当xxx趋向于负无穷大时，概率分布函数的值会等于0。通过定义易得P(X≤∞)=1P(X \le \infty) = 1P(X≤∞)=1，同理，概率密度函数与xxx轴围成的面积也是1。

举例说明

以正态分布为例，正态分布的概率密度函数如下：

正态分布的概率密度函数由均值μ\muμ和标准差σ\sigmaσ就可以确定。

正态分布的概率分布函数如下：

符合上述两条概率分布函数的性质。

备注

对于连续型随机变量XXX来说，其概率密度函数表示了XXX在各个取值时的可能性，但是直接用概率密度函数fX(x=x0)f_X(x = x_0)fX(x=x0)是不能表示其取值到x0x_0x0的概率的，一般用区间的形式表示连续型随机变量的取值概率，也就是对概率密度函数求积分。

借鉴

https://www.zhihu.com/question/36853661
https://www.zhihu.com/question/23237834