概率论学习自述

概率论的一些基本概念

随机变量的分布

一维随机变量的分布

二维随机变量

抽样分布

数学期望

矩

方差

协方差

常见分布的数学期望与方差：

一些重要的定理公式

参数估计

(1)点估计

(2)区间估计

假设检验

独立性

概率论学习自述

所学概率论与数理统计属于大学的一门课程，通过数学方法来解释现实生活中的规律性。主要针对随机变量开展研究。对随机变量的分布，数字特征（数学期望，方差，协方差，矩...）进行研究并依据概率论中的一些基本定理可以通过样本对统计参数进行估计和检验。

概率论的一些基本概念

随机试验：1.可重复进行2.各个结果已知不止一个且无法确定试验出现结果
样本空间：所有可能结果组成的集合
随机事件：一些结果（样本点）的集合
频率与概率：频率在试验趋于无穷时等于概率。概率具有1.非负性2.可列可加性
独立性：两事件的发生相互不影响称为二者独立
古典概型：又称为等可能概型。1.样本点有限2.每个基本事件出现的概率相同
随机变量：对事件发生的各个结果联系数字进行定义，创造出一个随着结果不同而变化的实值单值函数就是随机变量
分布函数和概率密度：分布函数和分布率体现出随机变量取不同值时的概率，概率密度体现出随机变量取值的密集成程度
统计量：随机变量的函数
抽样分布：统计量的分布即为抽样分布

随机变量的分布

一维随机变量的分布

离散型：

（1）0-1分布 （伯努利试验）

(2) 二项分布（n重伯努利试验） $P(X=k)=\binom{n}{k}p^{k}(1-p)^{n-k}$ ，

相互独立的X~B（n1，p），Y~B（n2，p），X+Y~b（n1+n2），证明见下面附页。

(3) 泊松分布 $P(X=k)=\frac{\lambda ^{k}}{k!}e^{-\lambda }$ $(\sum_{k=0}^{\infty }\frac{\lambda ^{k}}{k!}=e^{\lambda })$

三者之间的关系，多个0-1分布组合成二项分布随机变量。

当λ=np时（即n很大，p很小）可以将二项分布近似成泊松分布。

$P(X=k)=\frac{\lambda ^{k}}{k!}e^{-\lambda }=\binom{n}{k}p^{k}(1-p)^{n-k}$ 除此之外，在使用这个公式时要注意k不能过大

连续型：

(1)正态分布 概率密度： $f(x)=\frac{1}{\sqrt{2\pi }\sigma}e^{\frac{-(x-\mu )^{2}}{2\sigma ^{2}}}$ ,

$X\sim N(\mu _1,\sigma_1 ),Y\simN(\mu_2,\sigma_2)$ 且相互独立，则 $X+Y~N(\mu _1+\mu_2,\sigma_1^2+\sigma_2^2)$ ,

(2)均匀分布 概率密度： $f(x)=\begin{cases} \frac{1}{b-a}& \text{ } a<x<b \\ 0& \text{ } other \end{cases}$ ，

(3)指数分布 概率密度： $f(x)=\begin{cases} \frac{1}{\theta }e^{-x/\theta } & \text{ } x >0\\ 0& \text{ } other \end{cases}$ 主要用 $\lambda = 1/\theta %u4EE3%u66FF$

二维随机变量

分布函数： F(x,y)=P(X≤x,Y≤y) 分布律：按P(X=x.Y=y)展开

运算特点与性质:

1.P(a<x<b,c<y<d)=F(b,d)-F(b,c)+F(a,d)-F(a,b)

2.F(-∞,y)=F(x,-∞)=0;F(∞,∞)=1

概率密度： f(x,y)满足 $F(x,y)=\int_{-\infty }^{y }\int_{-\infty }^{x }f(x,y)dxdy$

边缘分布： $F_{X}(x)=F(x,\infty)=\int_{-\infty}^{x}\int_{-\infty}^{\infty}f(x,y)dydx,F_{Y}(y)=F(\infty,y)=\int_{-\infty}^{y}\int_{-\infty}^{\infty}f(x,y)dxdy$

边缘概率密度： $f_{X}(x)=\int_{-\infty}^{\infty}f(x,y)dy,f_{Y}(y)=\int_{-\infty}^{\infty}f(x,y)dx$

二维随机变量函数的分布：

(1) Z=X+Y $F(z)=\int_{-\infty}^{z}\int_{-\infty}^{\infty}f(z-y,y)dydz$ $f(z)=\int_{-\infty}^{\infty}f(z-y,y)dy$

(2) Z=XY $F_{XY}(z)=\int_{-\infty}^{z}\int_{-\infty}^{\infty}\frac{1}{\left | x \right |}f(x,z/x)dxdz$ $f_{XY}(z)=\int_{-\infty}^{\infty}\frac{1}{\left | x \right |}f(x,z/x)dx$

(3) Z=Y/X $F_{Y/X}(z)=\int_{-\infty}^{z}\int_{-\infty}^{\infty}\left | x \right |f(x,zx)dxdz$ $f_{Y/X}(z)=\int_{-\infty}^{\infty}\left | x \right |f(x,zx)dx$

(4) Z=MAX{X,Y}与Z=MIN{X,Y} $F_{max}(z)=F_{X}(z)F_{Y}(z),F_{min}(z)=1-[1-F_{X}(z)][1-F_{Y}(z)]$

推导过程描述：(1)(2)(3)在X,Y独立的基础上得到f(x,y),确定积分区域，写出对x,y的积分后用z进行换元得到结果。也可能直接有f(x,y)

(4)主要依靠独立和包含关系推导。

抽样分布

三个常用统计量的分布：

（1）χ²分布 $\chi ^{2}=X_{1}^{2}+X_{2}^{2}+......+X_{n}^{2}$ $X_{i}\sim N(0,1)$

图像： 1

性质：可加性 $\chi _{1}^{2}+\chi_{2}^{2}\sim \chi ^{2}(n_{1}+n_{2})$

（2）t分布 $t=\frac{X}{\sqrt{Y/n}}$ X~N(0,1),Y~χ²(n)

图像:

性质： $t_{\alpha }(n)=t_{1-\alpha }(n)$

（3）F分布 $F=\frac{U/n_{1}}{V/n_{2}}$ $U\sim \chi ^2(n_1)$ $V\sim \chi ^2(n_2)$

图像：

性质： $F(n_1,n_2)=\frac{1}{F(n_2,n_1)}$ 推到可知 $F_{1-\alpha}(n_1,n_2)=\frac{1}{F_{\alpha}(n_2.n_1)}$

一些重要统计量的分布

（1） $\overline{X}\sim N(\mu,\sigma ^2/n)$ （2） $\frac{(n-1)S^2}{\sigma^2}\sim \chi ^2(n-1)$ （3） $\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$ （4） $\frac{S_1^2/S_2^2}{\sigma _1^2/\sigma_2^2 }\sim F(n_1-1,n_2-1)$

（5） $\sigma _1^2=\sigma_2^2=\sigma^2,\frac{(\bar{X}-\bar{Y})-(\mu _1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$ 其中 $S_w=\sqrt{\frac{(n_1-1)S_1^2 +(n_2-1)S_2^2}{n_1+n_2-2}}$

数学期望

离散型公式: $E(X)=\sum P_iX_i$

连续性公式 : $E(X)=\int_{-\infty}^{\infty}xf(x)dx$

对于统计量Z=g(x): $E(Z)=\int_{-\infty}^{\infty}g(x)f(x)dx$ Z=g(x,y): $E(Z)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$

矩

k阶原点矩： $E(X^k)$

k阶中心矩： $E=\left \{ [X-E(X)]^k \right\}$

方差

公式： $D(X)=E(X^2)-[E(X)]^2$

计算性质：1. $D(X+Y)=D(X)+D(Y)$ +2COV(X,Y) 2. $D(aX)=a^2D(X)$ 3. $D(X+a)=D(X)$

协方差

协方差公式：1. $COV(X,Y)=E(XY)-E(X)E(Y)$ 2. $D(X+Y)=D(X)+D(Y)+2COV(X,Y)$

3. $\rho _{xy}=\frac{COV(X,Y)}{\sqrt{D(X)D(Y)}}$

计算性质： 1. $COV(X,X)=D(X)$ 2. $COV(X_1+X_2,Y)=COV(X_1,Y)+COV(X_2,Y)$

3. $COV(aX,bY)=abCOV(X,Y)$

常见分布的数学期望与方差：

(1) $X\sim U(a,b)$ $E(X)=\frac{a+b}{2 }$ $D(X)=\frac{(b-a)^2}{12}$ (2) $X\sim N(\mu ,\sigma^2 )$ E(X)=μ $D(X)=\sigma$

(3) $X\sim e(\lambda )$ E(X)= $\frac{1}{\lambda }$ $D(X)=\frac{1}{\lambda ^2}$ (4) $X\sim (0-1)$ E(X)=p D(X)=p(1-p)

(5) $X\sim B(n,p)$ E(X)=np D(X)=np(1-p) (6) $X\sim P(\lambda )$ E(X)=λ D(X)=λ

(7) $X\sim \chi ^2$ E(X)=n D(X)=2n

一些重要的定理公式

(1)条件概率公式： $P(A|B)=\frac{P(AB)}{P(B)}$

(2)乘法定理： $P(ABC)=P(A|BC)P(B|C)P(C)$

(3)全概率公式： $P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+......+P(A|B_n)P(B_n)$

(4)贝叶斯公式： $P(A|B)=\frac{P(B|A)P(A)}{P(B|A_1)P(A_1)+.....+P(B|A_n)P(A_n)}$

四者关系：

易记错：全概率公式的项是P(A|B)P(B)形式，不是P(A|B)

切比雪夫不等式： $P(| X-\mu |\geq \varepsilon )\leq\frac{\sigma^2}{\varepsilon ^2}$

用处：用于粗略估计随机变量范围概率

(2)大数定律：描述一些随机变量的项的算数平均值收敛到这些项的均值

弱大数定律（辛钦大数定律）： $\bar{X}\overset{p}{\rightarrow}\mu$

伯努利定理： $\frac{f_A}{n}\overset{n\rightarrow \infty }{\rightarrow}p$

中心极限定理：大量随机因素(变量)共同作用下（构成统计量）的分布近似于正态分布

(1)独立同分布的中心极限定理 $\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$ $(n\rightarrow \infty )$

(2)李雅普诺夫定理（省去同分布，复杂标准化变量） $\frac{\sum X_i-\sum [E(X_i)]}{\sqrt{\sum [D(X_i)]}}\sim N(0,1)$ $(n\rightarrow \infty )$

(3)棣莫弗-拉普拉斯定理（针对二项分布，视为0-1分布之和） $\frac{\sum X_i-np}{\sqrt{np(1-p)}}\sim N(0,1)$ $(n\rightarrow \infty)$

参数估计

：总体之中有未知参数需要通过样本值进行估计

(1)点估计

矩估计：用样本均值估计总体均值解算出相关未知参数，未知参数包含于总体均值中。

常用 $\mu_1=E(X),\mu_2=E(X^2)=D(X)+[E(X)]^2$ 构造矩估计量 $\theta =f[A_1,A_2],A_1,A_2$ 即样本矩，代入样本均值求解矩估计值得参数

最大似然估计：基于θ的取值应使得 $\prod p(x_i,\theta)$ 在θ范围内取得较大值，认为 $\theta=\theta_0$ 使连乘取最大值的估计合理。

为了计算简便，可以对连乘函数进行取对数再求导求出θ的取值。

最大似然估计的不变性：有 $\mu =\mu(\theta)$ ,也有 $\theta=\theta(\mu)$ 时有估计值 $\hat{\theta}$ 使连乘函数取最大值，也有 $\mu=\mu(\hat{\theta})=\hat{\mu}$ 使连乘函数取最大值，就可以说 $\hat{\mu}=\mu(\hat{\theta})$ 是μ的最大似然估计。

(2)区间估计

原理简述：本质依然是通过样本估计未知参数，构造枢轴量(不依赖未知参数确定分布类型的统计量)

，通过取枢轴量的概率区间,例如 $P(| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |\leq z_{\frac{\alpha }{2}} )=1-\alpha$ 结合所要用到的样本涵义是：样本值的算数平均值 $\bar{X}$ 有（1-α）的可能在区间 $| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |$ 内，变换上面式子有 $P(a(\bar{X})\leq \mu\leq b(\bar{X})=1-\alpha$ ,涵义是取得样本的算数平均值构成区间有(1-α)的可能包括μ，即μ有（1-α）的可能在在取得样本的算数平均值构成的区间内，把 $[a(\bar{X}),b(\bar{X})]$ 称为置信区间，1-α称为置信水平。

单正态总体枢轴量：

已知σ，估计 $\mu$ $| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |$ ~N(0,1) 。未知σ，估计 $\mu$ $| \frac{\bar{X}-\mu}{S/\sqrt{n}} |$ ~t(n-1)

实际情况μ未知，估计 $\sigma$ $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ ,μ已知，应可以用 $| \frac{\bar{X}-\mu}{\sigma/\sqrt{n}} |$ 。

双正态总体枢轴量：

已知 $\sigma_1,\sigma_2$ ,估计 $\mu_1-\mu_2$ →→ $\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}-\frac{\sigma_2^2}{n_2}}}\sim N(0,1)$

未知 $\sigma_1,\sigma_2$ 具体值，但知道 $\sigma_1=\sigma_2=\sigma$ ,估计 $\mu_1-\mu_2$ →→ $\frac{(\bar{X}-\bar{Y})-(\mu_1-\mu_2)}{S_w \sqrt{\frac{1}{n_1}-\frac{1}{n_2}}}\sim t(n_1+n_2-2)$ , $S_w=\sqrt{\frac{(n_1-1)S_1^2)+(n_2-1)S_2^2}{n_1+n_2-2}}$

$\mu_1,\mu_2$ 未知，估计 $\frac{\sigma_1^2}{\sigma_2^2}$ →→ $\frac{S_1^2/S_2^2}{\sigma _1^2/\sigma_2^2 }\sim F(n_1-1,n_2-1)$

0-1分布枢轴量：当n足够大时，由中心极限定理近似得 $\frac{\bar{X}-np}{\sqrt{np(1-p)}}\sim N(0,1)$ ， $(n\rightarrow \infty)$

单侧置信区间：书写概率区间不等式时，只列需要的一侧。

假设检验

检验原理：对于 $H_0,H_1$ ,在假设 $H_0$ 成立的条件下，得到较大的置信水平的置信区间，若样本值使枢轴量落在这个区间内就接受 $H_0$ ,并称这个区间为接受域，反之，落在这个区间之外，则这个区间之外的区间就是拒绝域。

要注意的是对换原假设和备择假设可能得出接受域有重合，但是只要样本足够大，必定会有一方落在拒绝域一方落在接受域内。

第一类错误：即 $H_0$ 为真而认为其为假的概率α

第二类错误：α越大其越小

检验统计量可以用区间估计枢轴量

双边假设检验, $H_1:\mu\not\neq\mu_0$ 类型；右边检验： $H_1:\mu\geq \mu_0$ 类型；左边检验： $H_1:\mu\leq \mu_0$ .

独立性：

$P(AB)=P(A)P(B)$ $\rightleftharpoons$ A,B相互独立；

$F(x,y)=F_X(x)F_Y(y)$ $\rightleftharpoons$ A,B相互独立；

$f(x,y)=f_X(x)f_Y(y)$ $\rightleftharpoons$ A,B相互独立；

A,B相互独立 $\rightharpoonup$ E(AB)=E(A)E(B);

A,B相互独立 $\rightharpoonup$ $\rho _{ab}=0$ ;

若(A,B)为二维正态分布且 $\rho _{ab}=0\rightleftharpoons$ A,B相互独立。

概率考试一些常见题型：

这种题设计到概率与集合之间的运算：

主要考察条件概率公式，概率独立性公式，概率中集合关系就会有加法公式P(A+B)=P(A)+P(B)-P(AB)和减法公式P(A-B)=P(A)-P(AB),还可能涉及全概率公式： $P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+......+P(A|B_n)P(B_n)$

贝叶斯公式： $P(A|B)=\frac{P(B|A)P(A)}{P(B|A_1)P(A_1)+.....+P(B|A_n)P(A_n)}$ ，乘法定理： $P(ABC)=P(A|BC)P(B|C)P(C)$ 等

这题主要考察古典概型的求解。在这里需要求解问题就需要对问题的可能性进行划分，那么以不同的方式划分就有不同的求解过程，就有盒子是否不同，球是否不同的看法区别。而我认为主要有以下过程：

1分析问题，确定问题的全部可能，并且用若有限给出个数2仔细辨别基本事件，即代表1的可能是以什么条件出现的（这就是确定盒子，球同不同）3为所求问题以这种认识道德最低划分来计算个数。

当问题的可能是无限多个却又等可能时，称其为几何概型，顾名思义解题的时候一般要结合画的图求解。

求随机变量函数的概率密度：就是将 $P(Y\leq y)$ 转化成 $P(g(X)\leq y)$ 再转化成 $P(X\leq h(y))$ 这样就能把Y的分布函数反应到X的分布函数上，再进行求导就是g(x)的概率密度了。

当碰到Z=g(x,y)时有以下步骤：

1求出（x，y）的概率密度，往往有独立可直接得 $f(x,y)=f_X(x)f_Y(y)$

2通过Z=g(x,y)<=z画出积分区域进行积分即可

这种题型在考察边际密度条件概率这种基本知识的深入了解应用：

第一问，求 $f_Y(y)=\int_{0}^{\frac{2-y}{2}}1dx$ 而不是 $f_Y(y)=\int_{0}^{1}1dx$ 这是应为x，y相互牵制，要求边际密度则默认y不受x影响，x受y影响，前者就相当于在形式上解除X的牵制。

第二问中条件概率展开后 $P(X\leq 0.5,Y\leq 1)=\int_{0}^{0.5}\int_{0}^{1}1dydx$ 的原因是画出图来发现区域的限制对这个点并无影响。

对于这种题，求COV,D(Z),抑或者是数学期望E(Z)和相关系数 $\rho$ 的都主要考察他们的公式。

从COV来看，1可以将Z=2X-Y代入后再展开到多个COV。2有时求 $COV(X,Y)=E(XY)-E(X)E(Y)$ 3有时则根据相关系数和方差根据公式求

从COV的第2中可能又需要求期望，而有些期望需要根据Z=g(x): $E(Z)=\int_{-\infty}^{\infty}g(x)f(x)dx$ Z=g(x,y): $E(Z)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$ 来求，这就涉及积分运算

极大似然估计无偏性问题：1建立极大似然估计函数 $\prod f(x_i)$ 2视情况取对数再求导3当可等于零，求出位置参数估计量。不能等于零，根据题意求出适合的估计量使估计函数最大

无偏性：即是在 $X,X_i$ 独立同分布条件下有相同的均值下，求未知参数取数学期望后再依据此去对总体X求位置参数的之，二者相等，无偏。

对于矩估计，则是通过求解E( $X^k$ )得方程组求解未知参数

对于假设检验类的题目，需要记住核心，检验 $\mu$ ，就是通过 $\bar{X}$ 去检验，检验 $\sigma$ ,就是通过S去检验（例如检验H0: $\mu\leq \mu_0$ 的拒绝域构造形式是 $\bar{X}>k$ ),在之后是相关统计量，上面原理总结已经述说。

这题较特殊Z=max{X,Y}的数学期望难算，所以使用max{X,Y}= $\frac{1}{2}[X+Y-\left | X-Y \right |]$ 求解

10.

这题涉及到使用0-1分布，10人每人获得金币的概率相同，转化成0-1分布就可以更好的求解X的数学期望。

附页：

相互独立的X~B（n1，p），Y~B（n2，p），X+Y~b（n1+n2）：

大学概率论与数理统计知识点详细整理相关推荐

机器学习需要掌握的数学知识点---详细整理
机器学习需要掌握的数学知识点---详细整理第一篇线性代数篇第一章排队!排队!什么是向量第二章矩阵第三章距离第二篇概率偏由暗恋引发的思考机器学习中的概率研究贝叶斯问题第三篇 ...
概率论与数理统计--知识点
概率论 (<概率论与数理统计> 主编金大勇徐永) 1.2.3 概率的性质加法定理 A,B是任意两个事件,则P(AUB)=P(A)+P(B)-P(AB) A,B是任意两个事件,则P(A ...
概率论与数理统计 | 知识点总结（上）
参考资料概率论 · 复习概要何书元<概率论与数理统计> 1. 随机事件与概率 1.1 古典概型古典概型中常用计数一有重复的排列数从 nnn 个不同元素中有放回地每次随机抽取一个, ...
概率论与数理统计 | 知识点总结(下)
参考资料最大似然估计例题何书元<概率论与数理统计> 6. 描述性统计统计学的做法分为两种: 描述性统计: 从数据样本中计算一些平均值.标准差.最小值.最大值等概括统计量, 画直方图 ...
【信息系统项目管理师】第12章-项目采购管理知识点详细整理
个人资料,仅供学习使用教程:信息系统项目管理师(第3版) 修改时间--2021年10月5日 00:46:49 参考资料: 信息系统项目管理师(第3版) 题目书(2021下半年)--马军本文包括: ...
【信息系统项目管理师】第10章下篇-项目干系人管理知识点详细整理
个人资料,仅供学习使用教程:信息系统项目管理师(第3版) 修改时间--2021年10月4日 09:19:27 参考资料: 信息系统项目管理师(第3版) 题目书(2021下半年)--马军本文包括: ...
【信息系统项目管理师】第10章上篇-项目沟通管理知识点详细整理
个人资料,仅供学习使用教程:信息系统项目管理师(第3版) 修改时间--2021年10月3日 18:43:45 参考资料: 信息系统项目管理师(第3版) 题目书(2021下半年)--马军本文包括: ...
【信息系统项目管理师】第8章-项目质量管理知识点详细整理
个人资料,仅供学习使用教程:信息系统项目管理师(第3版) 修改时间--2021年10月2日 16:24:45 参考资料: 信息系统项目管理师(第3版) 题目书(2021下半年)--马军本文包括: ...
【信息系统项目管理师】第7章-项目成本管理知识点详细整理
个人资料,仅供学习使用教程:信息系统项目管理师(第3版) 修改时间--2021年10月2日 10:54:17 参考资料: 信息系统项目管理师(第3版) 题目书(2021下半年)--马军本文包括: ...
【信息系统项目管理师】第6章-项目进度管理知识点详细整理
个人资料,仅供学习使用教程:信息系统项目管理师(第3版) 修改时间--2021年10月1日 15:26:09 参考资料: 信息系统项目管理师(第3版) 题目书(2021下半年)--马军本文包括: ...

大学概率论与数理统计知识点详细整理

概率论学习自述

概率论的一些基本概念

随机变量的分布

一维随机变量的分布

二维随机变量

抽样分布

数学期望

矩

方差

协方差

常见分布的数学期望与方差：

一些重要的定理公式

参数估计

(1)点估计

(2)区间估计

假设检验

独立性：

大学概率论与数理统计知识点详细整理相关推荐

最新文章

热门文章