一、概率论的基本概率

1.随机试验

具有以下三个特点的实验成为随机试验：
1.可以在相同的条件下重复进行
2.每次试验的可能结不止一个，并且能事先明确试验的所有可能结果
3.进行一次试验之前不能确定哪一个结果会出现

2.样本空间、随机事件

2.1样本空间

我们将随机试验E的所有可能结果组成的集合称为E的样本空间，记为S。样本空间的元素，即E的每个结果，成为样本点

2.2随机事件

一般，我们称试验E的样本空间S的子集为E的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生
特别，由一个样本点组成的单点集，成为基本事件
样本空间S包含所有的样本点，它是S自身的子集，在每次试验中它总是发生的，S成为必然事件，空集∅\varnothing∅不包含任何样本点，它也作为样本空间的子集，在每次试验中不发生，称为不可能事件

2.3事件间的关系与事件的运算

设试验E的样本空间为S，而A，B，Ak\\_kk(k=1,2…)是S的子集
1.若A⊂\subset⊂B，则称事件B包含事件A，若A⊂\subset⊂B且B⊂\subset⊂A，则A=B，事件A与事件B相等
2.事件A∪\cup∪B成为事件A与B的和事件，类似地，称∪k=1nAk\cup_{k=1}^{n}A_k∪k=1nAk为n个事件A1\\_{1}1, A2\\_{2}2…, An\\_nn的和事件；称∪k=1∞Ak\cup_{k=1}^{\infty}A_k∪k=1∞Ak为可列个事件A1\\_{1}1, A2\\_{2}2…的和事件
3.事件A∩\cap∩B成为事件A与B的积事件
4.事件A-B为事件A与B的差事件
5.若A∩\cap∩B=∅\varnothing∅,则称事件A与B是互不相容的，或互斥的，A与B不能同时发生
6.若A∪\cup∪B=S且A∩\cap∩B=∅\varnothing∅，则称A与B互为逆事件，又称A与B互为对立事件。对于每次试验，A与B必有且仅有一个发生

计算定律：
交换律：A∪\cup∪B=B∪\cup∪A；A∩\cap∩B=B∩\cap∩A
结合律：A∪\cup∪(B∪\cup∪C)=(A∪\cup∪B)∪\cup∪C;
A∩\cap∩(B∩\cap∩C)=(A∩\cap∩B)∩\cap∩C;
分配律：A∪\cup∪(B∩\cap∩C)=(A∪\cup∪B)∩\cap∩(A∪\cup∪C);
A∩\cap∩(B∪\cup∪C)=(A∩\cap∩B)∪\cup∪(A∩\cap∩C)
德摩根定律：A∪B‾\overline{A\cup B}A∪B=Aˉ∩Bˉ\bar{A}\cap \bar{B}Aˉ∩Bˉ;
A∩B‾\overline{A\cap B}A∩B=Aˉ∪Bˉ\bar{A}\cup \bar{B}Aˉ∪Bˉ

3.频率与概率

3.1频率

在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数nA\ n_A nA称为事件A发生的频数，nA/n\ n_A / n nA/n称为事件A发生的频率，记为fn(A)\ f_n(A) fn(A)

3.2概率

概率的重要性质
1.P(∅\varnothing∅)=0.
2.有限可加性，若A1,A2,...An\ A_1, \ A_2, ... \ A_n A1, A2,... An是两两不相容事件，则有
P(A1∪A2∪....∪An)\ P(A_1 \cup A_2 \cup .... \cup A_n ) P(A1∪A2∪....∪An) = P(A1)\ P(A_1) P(A1)+P(A2)\ P(A_2) P(A2) +…+P(An)\ P(A_n) P(An)
3.设A，B是两个事件，若A⊂\subset⊂B，则有
P(B−A)=P(B)−P(A)\ P(B-A)=P(B)-P(A) P(B−A)=P(B)−P(A), P(B)≥P(A)\ P(B) \ge P(A) P(B)≥P(A)
4.对于任一事件A，P(A)≤1\ P(A) \leq 1 P(A)≤1
5.逆事件的概率，对于任一事件A，有
P(Aˉ)=1−P(A)\ P(\bar{A})=1-P(A) P(Aˉ)=1−P(A)
6.加法公式，对于任意两事件A，B，有
P(A∪B)=P(A)+P(B)−P(AB)\ P(A \cup B)=P(A)+P(B)-P(AB) P(A∪B)=P(A)+P(B)−P(AB)

4.古典概型

略

5.条件概率

5.1条件概率

设A，B是两个事件，且P(A)>0\ P(A)>0 P(A)>0，称P(B∣A)=P(AB)P(A)\ P(B|A)=\frac{P(AB)}{P(A)} P(B∣A)=P(A)P(AB)为在A发生的条件下B发生的概率

5.2乘法定理

设P(A)>0\ P(A)>0 P(A)>0，则有P(AB)=P(B∣A)P(A)\ P(AB)=P(B|A)P(A) P(AB)=P(B∣A)P(A)称为乘法公式

5.3全概率公式和贝叶斯公式

样本空间划分的定义：设S为试验E的样本空间，B1,B2,...,Bn\ B_1, B_2, ... ,B_n B1,B2,...,Bn为E的一组事件。若
（1）BiBj=∅,i≠j,i,j=1,2,...,n\ B_iB_j=\varnothing ,i\ne j, i,j=1,2,...,n BiBj=∅,i=j,i,j=1,2,...,n
（2）B1∪B2∪...∪Bn=S\ B_1\cup B_2 \cup ... \cup B_n=S B1∪B2∪...∪Bn=S
则称B1,B2,...,Bn\ B_1, B_2, ... ,B_n B1,B2,...,Bn为样本空间的一个划分

全概率公式
设试验E的岩本空间为S，A为E的事件，B1,B2,...,Bn\ B_1, B_2, ... ,B_n B1,B2,...,Bn为S的一个划分，且P(Bi)>0(i=1,2,...,n)\ P(B_i)>0(i=1,2,...,n) P(Bi)>0(i=1,2,...,n)，则
P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+...+P(A∣Bn)P(Bn)\ P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...+P(A|B_n)P(B_n) P(A)=P(A∣B1)P(B1)+P(A∣B2)P(B2)+...+P(A∣Bn)P(Bn)

贝叶斯公式
设试验E的样本空间为S，A为E的事件，B1,B2,...,Bn\ B_1, B_2, ... ,B_n B1,B2,...,Bn为S的一个划分，且P(A)>0,P(Bi)>0(i=1,2,...,n)\ P(A)>0,P(B_i)>0(i=1,2,...,n) P(A)>0,P(Bi)>0(i=1,2,...,n)，则
P(Bi∣A)=P(A∣Bi)P(Bi)∑j=1nP(A∣Bj)P(Bj),i=1,2,...,n\ P(B_i|A)= \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}, i=1,2,...,n P(Bi∣A)=∑j=1nP(A∣Bj)P(Bj)P(A∣Bi)P(Bi),i=1,2,...,n

6.独立性

设A，B是两事件，如果满足等式P(AB)=P(A)P(B)\ P(AB)=P(A)P(B) P(AB)=P(A)P(B)，则称A，B相互独立
若A，B相互独立，则
1.P(B∣A)=P(B)\ P(B|A)=P(B) P(B∣A)=P(B),反之
2.A与Bˉ,Aˉ与B,Aˉ与Bˉ\ A与\bar{B}, \bar{A}与B,\bar{A}与\bar{B} A与Bˉ,Aˉ与B,Aˉ与Bˉ相互独立

设ABC是三个事件，如果满足：
{P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(AC)=P(A)P(C)P(ABC)=P(A)P(B)P(C)\begin{cases}P(AB)=P(A)P(B) \\ P(BC)=P(B)P(C) \\ P(AC)=P(A)P(C) \\ P(ABC)=P(A)P(B)P(C) \end{cases}⎩⎪⎪⎪⎨⎪⎪⎪⎧P(AB)=P(A)P(B)P(BC)=P(B)P(C)P(AC)=P(A)P(C)P(ABC)=P(A)P(B)P(C)
则称ABC相互独立

二、随机变量

1.随机变量

设随机试验的样本空间为S={e},X=X(e)\ S=\{e\}, X=X(e) S={e},X=X(e)是定义在样本空间S上的实值单值函数，称X=X(e)\ X=X(e) X=X(e)为随机变量

2.离散型随机变量及其分布律

2.1（0-1）分布

P{x=k}=pk(1−p)1−k,k=0,1(0<p<1)\ P\{x=k\}=p^k(1-p)^{1-k}, k=0,1(0<p<1) P{x=k}=pk(1−p)1−k,k=0,1(0<p<1)

2.2 伯努利试验，二项分布

设试验E只有两个可能结果：A及Aˉ\ A及\bar{A} A及Aˉ，则称E为伯努利试验，设P(A)=p\ P(A)=p P(A)=p，此时P(Aˉ)=1−p\ P(\bar{A})=1-p P(Aˉ)=1−p，将E独立重复地进行n次，则称这一串重复独立试验为n重伯努利试验
在n次试验中，A发生k次的概率为
P{X=k}=(nk)pkqn−k,k=0,1,2,...,n,q=1−p\ P\{X=k\}=\dbinom{n}{k}p^kq^{n-k}, k=0, 1, 2,...,n,q=1-p P{X=k}=(kn)pkqn−k,k=0,1,2,...,n,q=1−p其中，(nk)=n(n−1)...(n−k+1)k!\dbinom{n}{k}=\frac{n(n-1)...(n-k+1)}{k!}(kn)=k!n(n−1)...(n−k+1)
当n=1时，二项分布就是（0-1）分布

2.3泊松分布

设随机变量X所有可能取的值为0,1,2,…,而取各个值的概率为P{X=k}=λke−λk!,k=0,1,2,...\ P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!}, k=0,1,2,... P{X=k}=k!λke−λ,k=0,1,2,...其中λ>0\lambda>0λ>0是常数，则称X服从参数为λ\lambdaλ的泊松分布，记X∼π(λ)\ X\sim\pi(\lambda) X∼π(λ)
泊松定理
lim⁡n→∞(nk)pnk(1−pn)n−k=λke−λk!\lim_{n\rightarrow\infty}\dbinom{n}{k}p^k_n(1-p_n)^{n-k}=\frac{\lambda^ke^{-\lambda}}{k!}n→∞lim(kn)pnk(1−pn)n−k=k!λke−λ

3.随机变量的分布函数

设X是一个随机变量，x是任意实数，函数F(x)=P{X≤x},−∞<x<∞\ F(x)=P\{X\leq x\}, -\infty <x<\infty F(x)=P{X≤x},−∞<x<∞称为X的分布函数

4.连续型随机变量及其概率密度

4.1均匀分布

若连续型随机变量X具有概率密度
f(x)={1b−a,a<x<b0,其他\ f(x)=\begin{cases} \frac{1}{b-a}, a<x<b \\ 0, 其他 \end{cases} f(x)={b−a1,a<x<b0,其他
则称X在区间(a,b)上服从均匀分布，记为X∼U(a,b)\ X\sim U(a,b) X∼U(a,b)

4.2指数分布

f(x)={1θe−x/θ,x>00,其他\ f(x)=\begin{cases} \frac{1}{\theta}e^{-x/\theta}, x>0 \\ 0, 其他 \end{cases} f(x)={θ1e−x/θ,x>00,其他
其中θ>0\theta>0θ>0为常数
服从指数分布的随机变量X具有无记忆性：对于任意s，t>0，有
P{X>s+t∣X>s}=P{X>t}\ P\{X>s+t|X>s\}=P\{X>t\} P{X>s+t∣X>s}=P{X>t}

4.3正态分布

f(x)=12πσe−(x−μ)22σ2,−∞<x<∞\ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty<x<\infty f(x)=2πσ1e−2σ2(x−μ)2,−∞<x<∞
其中μ，σ为常数，则称X服从参数为μ，σ的正态分布或高斯分布，记X∼N(μ,σ2)\ X\sim N(\mu, \sigma^2) X∼N(μ,σ2)
若X∼N(μ,σ2)\ X\sim N(\mu, \sigma^2) X∼N(μ,σ2)，则
Z=X−μσ∼N(0,1)\ Z=\frac{X-\mu}{\sigma}\sim N(0,1) Z=σX−μ∼N(0,1)
当μ=0，σ=1时称随机变量X服从标准正态分布，概率密度和分布函数用φ(x),Φ(x)\ \varphi(x),\Phi(x) φ(x),Φ(x)表示

5.随机变量的函数的分布

设随机变量X具有概率密度fX(x),−∞<x<∞\ f_X(x), -\infty<x<\infty fX(x),−∞<x<∞，又设函数g(x)\ g(x) g(x)处处可导且恒有g′(x)>0org′(x)<0\ g'(x)>0org'(x)<0 g′(x)>0org′(x)<0，则Y=g(X)\ Y=g(X) Y=g(X)是连续型随机变量，其概率密度为
fY(y)={fX[h(y)]∣h′(y)∣,α<y<β0,others\ f_Y(y)=\begin{cases} f_X[h(y)]|h'(y)|, \alpha<y<\beta \\ 0,others \end{cases} fY(y)={fX[h(y)]∣h′(y)∣,α<y<β0,others
其中α=min{g(−∞),g(∞)}\ \alpha=min\{g(-\infty), g(\infty)\} α=min{g(−∞),g(∞)},β=max{g(−∞),g(∞)}\ \beta=max\{g(-\infty), g(\infty)\} β=max{g(−∞),g(∞)}， h(y)是g(x)的反函数

三、多维随机变量及其分布

1.二维随机变量

略

2.边缘分布

略

3.条件分布

设（X，Y）是二维离散型随机变量，对于固定的j，若P{Y=yj}>0\ P\{Y=y_j\}>0 P{Y=yj}>0，则称
P{X=xi∣Y=yi}=P{X=xi,Y=yj}P{Y=yj}=pijp.j,i=1,2,...\ P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_j \}}{P\{Y=y_j\}}=\frac{p_{ij}}{p_{.j}}, i=1,2,... P{X=xi∣Y=yi}=P{Y=yj}P{X=xi,Y=yj}=p.jpij,i=1,2,...
为在Y=yi\ Y=y_i Y=yi条件下随机变量X的条件分布律，对另一个变量亦然
设二维随机变量（X，Y）的概率密度为f(x,y),(X,Y)关于Y的边缘概率密度为fY(y)\ f_Y(y) fY(y)，若对于固定的y，fY(y)>0\ f_Y(y)>0 fY(y)>0，则称f(x,y)fY(y)\ \frac{f(x,y)}{f_Y(y)} fY(y)f(x,y)为在Y=y的条件下X的条件概率密度，记为
fX∣Y(x∣y)=f(x,y)fY(y)\ f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)} fX∣Y(x∣y)=fY(y)f(x,y)
称∫−∞xfX∣Y(x∣y)dx\ \int_{-\infty}^xf_{X|Y}(x|y)dx ∫−∞xfX∣Y(x∣y)dx为Y=y条件下X的条件分布函数，记为P{X≤x∣Y=y}\ P\{X\leq x|Y=y\} P{X≤x∣Y=y}或FX∣Y(x∣y)\ F_{X|Y}(x|y) FX∣Y(x∣y)，对另一个变量亦然

4.相互独立的随机变量

设F(x,y)及FX(x),FY(y)\ F_X(x), F_Y(y) FX(x),FY(y)分别是二维随机变量（X，Y）的分布函数及边缘分布函数，若对于所有的x，y有：
P{X≤x,Y≤y}=P{X≤x}P{Y≤y}\ P\{X\leq x, Y\leq y\}=P\{X\leq x\}P\{Y\leq y\} P{X≤x,Y≤y}=P{X≤x}P{Y≤y}
即 F(x,y)=FX(x)FY(y)\ F(x,y)=F_X(x)F_Y(y) F(x,y)=FX(x)FY(y)，则称随机变量X，Y是相互独立的
对于概率密度和边缘概率密度，等式
f(x,y)=fX(x)fY(y)\ f(x,y)=f_X(x)f_Y(y) f(x,y)=fX(x)fY(y)
在平面上除去“面积”为零的集合以外，处处成立

5.两个随机变量函数的分布

5.1 Z=X+Y\ Z=X+Y Z=X+Y的分布

设(X,Y)是二维连续型随机变量，它具有概率密度f(x,y) ,则Z=X+Y仍为连续型随机变量，其概率密度为
fX+Y(z)=∫−∞∞f(z−y,y)dy\ f_{X+Y}(z)=\int_{-\infty}^\infty f(z-y,y)dy fX+Y(z)=∫−∞∞f(z−y,y)dy
fX+Y(z)=∫−∞∞f(x,z−x)dy\ f_{X+Y}(z)=\int_{-\infty}^\infty f(x,z-x)dy fX+Y(z)=∫−∞∞f(x,z−x)dy
又若X和Y相互独立，设(X,Y)关于X，Y的边缘密度分别为fX(x),fY(y)\ f_X(x), f_Y(y) fX(x),fY(y)，则
fX+Y(z)=∫−∞∞fX(z−y)fY(y)dy\ f_{X+Y}(z)=\int_{-\infty}^\infty f_X(z-y)f_Y(y)dy fX+Y(z)=∫−∞∞fX(z−y)fY(y)dy
fX+Y(z)=∫−∞∞fX(x)fY(z−x)dx\ f_{X+Y}(z)=\int_{-\infty}^\infty f_X(x)f_Y(z-x)dx fX+Y(z)=∫−∞∞fX(x)fY(z−x)dx
这两个公式称为fX和fY\ f_X 和 f_Y fX和fY的卷积公式，记为fX∗fY\ f_X*f_Y fX∗fY，即
fX∗fY=fX+Y(z)=∫−∞∞fX(z−y)fY(y)dy=∫−∞∞fX(x)fY(z−x)dx\ f_X*f_Y=f_{X+Y}(z)=\int_{-\infty}^\infty f_X(z-y)f_Y(y)dy=\int_{-\infty}^\infty f_X(x)f_Y(z-x)dx fX∗fY=fX+Y(z)=∫−∞∞fX(z−y)fY(y)dy=∫−∞∞fX(x)fY(z−x)dx
对于正态分布，可以证明有限个相互独立的正态随机变量的线性组合仍然服从正态分布

5.2 Z=YX,Z=XY\ Z=\frac{Y}{X}, Z=XY Z=XY,Z=XY的分布

fY/X(z)=∫−∞∞∣x∣f(x,xz)dx\ f_{Y/X}(z)=\int_{-\infty}^\infty|x|f(x,xz)dx fY/X(z)=∫−∞∞∣x∣f(x,xz)dx
fXY(z)=∫−∞∞1∣x∣f(x,zx)dx\ f_{XY}(z)=\int_{-\infty}^\infty \frac{1}{|x|}f(x,\frac{z}{x})dx fXY(z)=∫−∞∞∣x∣1f(x,xz)dx
若X,Y相互独立：
fY/X(z)=∫−∞∞∣x∣fX(x)fY(xz)dx\ f_{Y/X}(z)=\int_{-\infty}^\infty|x|f_X(x)f_Y(xz)dx fY/X(z)=∫−∞∞∣x∣fX(x)fY(xz)dx
fXY(z)=∫−∞∞1∣x∣fX(x)fY(zx)dx\ f_{XY}(z)=\int_{-\infty}^\infty \frac{1}{|x|}f_X(x)f_Y(\frac{z}{x})dx fXY(z)=∫−∞∞∣x∣1fX(x)fY(xz)dx

5.3 M=max{X,Y}\ M=max\{X,Y\} M=max{X,Y}及N=min{X,Y}\ N=min\{X,Y\} N=min{X,Y}的分布

Fmax(z)=FX(z)FY(z)\ F_{max}(z)=F_X(z)F_Y(z) Fmax(z)=FX(z)FY(z)
Fmin(z)=1−[1−FX(z)][1−FY(z)]\ F_{min}(z)=1-[1-F_X(z)][1-F_Y(z)] Fmin(z)=1−[1−FX(z)][1−FY(z)]

四、随机变量的数字特征

1.数学期望

设离散型随机变量X的分布律为
P{X=xk}=pk,k=1,2,...\ P\{X=x_k\}=p_k,k=1,2,... P{X=xk}=pk,k=1,2,...
若级数
∑k=1∞xkpk\ \sum_{k=1}^\infty x_kp_k k=1∑∞xkpk
绝对收敛，则称级数∑k=1∞xkpk\ \sum_{k=1}^\infty x_kp_k k=1∑∞xkpk的和为随机变量X的数学期望，记为E(X)
E(X)=∑k=1∞xkpk\ E(X)= \sum_{k=1}^\infty x_kp_k E(X)=k=1∑∞xkpk
设连续型随机变量X的概率密度为f(x)，若积分
∫−∞∞xf(x)dx\ \int_{-\infty}^{\infty}xf(x)dx ∫−∞∞xf(x)dx
绝对收敛，则称积分∫−∞∞xf(x)dx\ \int_{-\infty}^{\infty}xf(x)dx ∫−∞∞xf(x)dx的值为随机变量X的数学期望，记为E(X)
E(x)=∫−∞∞xf(x)dx\ E(x)=\int_{-\infty}^{\infty}xf(x)dx E(x)=∫−∞∞xf(x)dx
定理设Y是随机变量X的函数：Y=g(X)(g是连续函数)
1.如果X是离散型随机变量，他的分布律为P{X=xk}=pk,k=1,2,...\ P\{X=x_k\}=p_k,k=1,2,... P{X=xk}=pk,k=1,2,...，若∑k=1∞g(xk)pk\ \sum_{k=1}^\infty g(x_k)p_k ∑k=1∞g(xk)pk收敛，则有
E(Y)=E[g(X)]=∑−∞∞g(xk)pk\ E(Y)=E[g(X)]=\sum_{-\infty}^\infty g(x_k)p_k E(Y)=E[g(X)]=−∞∑∞g(xk)pk
2.如果X是连续型随机变量，它的概率密度为f(x),若∫−∞∞g(x)f(x)dx\ \int_{-\infty}^\infty g(x)f(x)dx ∫−∞∞g(x)f(x)dx绝对收敛，则有
E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx\ E(Y)=E[g(X)]=\int_{-\infty}^\infty g(x)f(x)dx E(Y)=E[g(X)]=∫−∞∞g(x)f(x)dx

数学期望的几个重要性质

1.C是常数，则E(C)=C\ E(C)=C E(C)=C
2.X是一个随机变量，C常数，E(CX)=CE(X)\ E(CX)=CE(X) E(CX)=CE(X)
3.X，Y是两个随机变量，E(X+Y)=E(X)+E(Y)\ E(X+Y)=E(X)+E(Y) E(X+Y)=E(X)+E(Y)
4.设X，Y是相互独立的随机变量，则有E(XY)=E(X)E(Y)\ E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)

2.方差

设X是一个随机变量，若E{[X−E(X)]2}\ E\{[X-E(X)]^2\} E{[X−E(X)]2}存在，则称E{[X−E(X)]2}\ E\{[X-E(X)]^2\} E{[X−E(X)]2}为X的方差，记为D(X)或Var(X),即
D(X)=Var(X)=E{[X−E(X)]2}\ D(X)=Var(X)=E\{[X-E(X)]^2\} D(X)=Var(X)=E{[X−E(X)]2}
在应用上引入量D(X)\ \sqrt{D(X)} D(X)，记为σ(X)\ \sigma(X) σ(X)，称为标准差或均方差

对于离散型随机变量，有
D(X)=∑k=1∞[xk−E(X)]2pk\ D(X)=\sum_{k=1}^\infty [x_k-E(X)]^2p_k D(X)=k=1∑∞[xk−E(X)]2pk
对于连续型随机变量，有
D(X)=∫−∞∞[x−E(X)]2f(x)\ D(X)=\int_{-\infty}^\infty [x-E(X)]^2f(x) D(X)=∫−∞∞[x−E(X)]2f(x)

随机变量X的方差可按下式计算
D(X)=E(X2)−[E(X)]2\ D(X)=E(X^2)-[E(X)]^2 D(X)=E(X2)−[E(X)]2

方差的几个重要性质

1.C是常数，则D(C)=0\ D(C)=0 D(C)=0
2.X是随机变量，C是常数，则
D(CX)=C2D(X),D(X+C)=D(X)\ D(CX)=C^2D(X), D(X+C)=D(X) D(CX)=C2D(X),D(X+C)=D(X)
3.设X，Y是两个随机变量，则
D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}\ D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\} D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}
上式第三项=2{E(XY)−E(X)E(Y)}\ 上式第三项=2\{E(XY)-E(X)E(Y)\} 上式第三项=2{E(XY)−E(X)E(Y)}
特别地，若X，Y相互独立，则
D(X+Y)=D(X)+D(Y)\ D(X+Y)=D(X)+D(Y) D(X+Y)=D(X)+D(Y)
4.D(X)=0的充要条件是X以概率1取常数E(X),即
P{X=E(X)}=1\ P\{X=E(X)\}=1 P{X=E(X)}=1

切比雪夫不等式

设随机变量X具有数学期望E(X)=μ\ E(X)=\mu E(X)=μ，方差D(X)=σ2\ D(X)=\sigma^2 D(X)=σ2，则对于任意正数ϵ\ \epsilon ϵ，不等式
P{∣X−μ∣≥ϵ}≤σ2ϵ2\ P\{|X-\mu|\ge \epsilon\}\leq \frac{\sigma^2}{\epsilon^2} P{∣X−μ∣≥ϵ}≤ϵ2σ2

3.协方差及相关系数

量E{[X−E(X)][Y−E(Y)]}\ E\{[X-E(X)][Y-E(Y)]\} E{[X−E(X)][Y−E(Y)]}称为随机变量X与Y的协方差，记为Cov(X,Y)\ Cov(X,Y) Cov(X,Y),即
Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}\ Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
而
ρXY=Cov(X,Y)D(X)D(Y)\ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} ρXY=D(X)D(Y)Cov(X,Y)
称为随机变量X与Y的相关系数
由定义可知
Cov(X,Y)=Cov(Y,X),Cov(X,X)=D(X)\ Cov(X,Y)=Cov(Y,X), Cov(X,X)=D(X) Cov(X,Y)=Cov(Y,X),Cov(X,X)=D(X)
对于任意两个随机变量X和Y，下式成立
D(X+Y)=D(X)+D(Y)+2Cov(X,Y)\ D(X+Y)=D(X)+D(Y)+2Cov(X,Y) D(X+Y)=D(X)+D(Y)+2Cov(X,Y)
将Cov(X,Y)的定义式展开，可得
Cov(X,Y)=E(XY)−E(X)E(Y)\ Cov(X,Y)=E(XY)-E(X)E(Y) Cov(X,Y)=E(XY)−E(X)E(Y)
常利用这一式计算协方差

协方差的性质

1.Cov(aX,bY)=abCov(X,Y),a,b是常数\ Cov(aX,bY)=abCov(X,Y), a,b是常数 Cov(aX,bY)=abCov(X,Y),a,b是常数
2.Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)\ Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y) Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)

ρXY\ \rho_{XY} ρXY的性质

1 .∣ρXY∣≤1\ |\rho_{XY}|\leq 1 ∣ρXY∣≤1
2. ∣ρXY∣≤1\ |\rho_{XY}|\leq 1 ∣ρXY∣≤1的充要条件是，存在常数a，b使
P{Y=a+bX}=1\ P\{Y=a+bX\}=1 P{Y=a+bX}=1
3.当ρXY=0\ \rho_{XY}=0 ρXY=0时，称X和Y不相关

4.矩、协方差矩阵

设X，Y时随机变量，若
E(Xk),k=1,2,...\ E(X^k),k=1,2,... E(Xk),k=1,2,...
存在，则称它为X的k阶原点矩，简称k阶矩
若
E{[X−E(X)]k},k=2,3,...\ E\{[X-E(X)]^k\}, k=2,3,... E{[X−E(X)]k},k=2,3,...
存在，则称它为X的k阶中心距
若
E(XkYl),k,l=1,2,...\ E(X^kY^l), k,l=1,2,... E(XkYl),k,l=1,2,...
存在，则称它为X和Y的k+l阶混合矩
若
E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,...\ E\{[X-E(X)]^k[Y-E(Y)]^l\}, k,l=1,2,... E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,...
存在，称它为X和Y的k+l阶混合中心距

设n维随机变量(X1,X2,...,Xn)\ (X_1,X_2,...,X_n) (X1,X2,...,Xn)的二阶混合中心距
Cij=Cov(Xi,Xj)=E{[Xi−E(Xi)][Xj−E(Xj)]},i,j=1,2,...,n\ C_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,...,n Cij=Cov(Xi,Xj)=E{[Xi−E(Xi)][Xj−E(Xj)]},i,j=1,2,...,n
都存在，则称矩阵
[c11c12⋯c1nc21c22⋯c2n⋮⋮⋮cn1cn2⋯cnn]\ \begin{bmatrix} c_{11} \ \ c_{12} \ \ \cdots \ \ c_{1n} \\ c_{21} \ \ c_{22} \ \ \cdots \ \ c_{2n} \\ \vdots \qquad \vdots \qquad \qquad \vdots \\ c_{n1} \ \ c_{n2} \ \ \cdots \ \ c_{nn} \\ \end{bmatrix} ⎣⎢⎢⎢⎡c11 c12 ⋯ c1nc21 c22 ⋯ c2n⋮⋮⋮cn1 cn2 ⋯ cnn⎦⎥⎥⎥⎤
为n维随机变量的协方差矩阵，为对称矩阵

n维正态随机变量的重要性质

1.n维正态随机变量(X1,X2,...,Xn)\ (X_1,X_2,...,X_n) (X1,X2,...,Xn)的每一个分量Xi,i=1,2,...,n\ X_i,i=1,2,...,n Xi,i=1,2,...,n都是正态随机变量，反之，若X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn都是正态随机变量，且相互独立，则(X1,X2,...,Xn)\ (X_1,X_2,...,X_n) (X1,X2,...,Xn)是n维正态随机变量
2.n维随机变量(X1,X2,...,Xn)\ (X_1,X_2,...,X_n) (X1,X2,...,Xn)服从n维正态分布的充要条件是X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn 的任意线性组合
l1X1+l2X2+...+lnXn\ l_1X_1+l_2X_2+...+l_nX_n l1X1+l2X2+...+lnXn
服从一维正态分布（其中l1,...,ln\ l_1,...,l_n l1,...,ln不全为0）
3.若(X1,X2,...,Xn)\ (X_1,X_2,...,X_n) (X1,X2,...,Xn)服从n维正态分布，设Y1,Y2,...,Yk\ Y_1,Y_2,...,Y_k Y1,Y2,...,Yk是Xj(j=1,2,...,n)\ X_j(j=1,2,...,n) Xj(j=1,2,...,n)的线性函数，则(Y1,Y2,...,Yk)\ (Y_1,Y_2,...,Y_k) (Y1,Y2,...,Yk)也服从多维正态分布–正态变量的线性变换不变性
4.设(X1,X2,...,Xn)\ (X_1,X_2,...,X_n) (X1,X2,...,Xn)服从n维正态分布，则X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn相互独立与X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn两两不相关是等价的

五、大数定律及中心极限定理

1.大数定律

1.1弱大数定律（辛钦大数定律）

设X1,X2,...\ X_1,X_2,... X1,X2,...是相互独立，服从同一分布的随机变量序列，且具有数学期望E(Xk)=μ(k=1,2,...)\ E(X_k)=\mu \ \ (k=1,2,...) E(Xk)=μ (k=1,2,...)。作前n个变量的算数平均1n∑k=1nXk\ \frac{1}{n} \sum_{k=1}^nX_k n1∑k=1nXk，则对于任意ϵ>0\ \epsilon >0 ϵ>0,有
limn→∞P{∣1n∑k=1nXk−μ∣<ϵ}=1\ lim_{n \to \infty}P\{|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon\}=1 limn→∞P{∣n1k=1∑nXk−μ∣<ϵ}=1

1.2伯努利大数定理

设fA\ f_A fA是n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数ϵ>0\ \epsilon > 0 ϵ>0,有
limn→∞P{∣fAn−p∣<ϵ}=1\ lim_{n \to \infty}P\{|\frac{f_A}{n}-p|<\epsilon\}=1 limn→∞P{∣nfA−p∣<ϵ}=1
或
limn→∞P{∣fAn−p∣≥ϵ}=0\ lim_{n \to \infty}P\{|\frac{f_A}{n}-p|\ge\epsilon\}=0 limn→∞P{∣nfA−p∣≥ϵ}=0

2.中心极限定理

2.1独立同分布的中心极限定理

均值为μ\ \mu μ,方差为σ2>0\ \sigma^2 > 0 σ2>0的独立同分布的随机变量X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn之和∑k=1nXk\ \sum_{k=1}^nX_k ∑k=1nXk的标准化变量，当n充分大时，有
∑k=1nXk−nμnσ∼Φ(x)(近似地)\ \frac{\sum_{k=1}^nX_k-n\mu}{\sqrt{n}\sigma} \sim \Phi(x) \ \ (近似地) nσ∑k=1nXk−nμ∼Φ(x)  (近似地)
或写成
X‾−μσ/n∼Φ(x)(近似地)\ \frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim\Phi(x) \ \ (近似地) σ/nX−μ∼Φ(x)  (近似地)
X‾∼N(μ,σ2/n)(近似地)\ \overline{X} \sim N(\mu, \sigma^2/n)\ \ (近似地) X∼N(μ,σ2/n)  (近似地)

2.2李亚普洛夫定理

设随机变量X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn相互独立，他们具有数学期望和方差
E(Xk)=μk,D(Xk)=σk2>0,k=1,2,...\ E(X_k)=\mu_k, \ \ D(X_k)=\sigma_k^2>0,k=1,2,... E(Xk)=μk, D(Xk)=σk2>0,k=1,2,...
记 Bn2=∑k=1nσk2\ B_n^2=\sum_{k=1}^n\sigma_k^2 Bn2=∑k=1nσk2
则随机变量
Zn=∑k=1nXk−∑k=1nμkBn\ Z_n=\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{B_n} Zn=Bn∑k=1nXk−∑k=1nμk
当n很大时，近似服从标准正态分布，即
∑k=1nXk=BnZn+∑k=1nμk\ \sum_{k=1}^nX_k=B_nZ_n+\sum_{k=1}^n\mu_k k=1∑nXk=BnZn+k=1∑nμk近似服从正态分布N(∑k=1nμk,Bn2)\ N(\sum_{k=1}^n\mu_k,B_n^2) N(∑k=1nμk,Bn2)

2.3棣莫弗-拉普拉斯定理

设随机变量ηn(n=1,2,...)\ \eta_n(n=1,2,...) ηn(n=1,2,...)服从参数为n，p的二项分布，则对于任意x，有
limn→∞P{ηn−npnp(1−p)≤x}=Φ(x)\ lim_{n \to \infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\}=\Phi(x) limn→∞P{np(1−p)ηn−np≤x}=Φ(x)
这个定理表面正态分布时二项分布的极限分布

六、样本及抽样分布

1、随机样本

设X是具有分布函数F的随机变量，若X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是具有同一分布函数F的，相互独立的随机变量，则称X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn为从分布函数F（或总体F，或总体X）得到的容量为n的简单随机样本，简称样本，他们的观察值x1,x2,...,xn\ x_1,x_2,...,x_n x1,x2,...,xn称为样本值，又称为X的n个独立的观察值

3、抽样分布

设 X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自总体X的一个样本，g(X1,X2,...,Xn)\ g(X_1,X_2,...,X_n) g(X1,X2,...,Xn)是X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn的函数，若g中不含未知参数，则称g(X1,X2,...,Xn)\ g(X_1,X_2,...,X_n) g(X1,X2,...,Xn)是一统计量

3.1 常用的统计量

设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自总体X的一个样本，x1,x2,...,xn\ x_1,x_2,...,x_n x1,x2,...,xn是这一样本的观察值
样本平均值
X‾=1n∑i=1nXi\ \overline{X}=\frac{1}{n}\sum_{i=1}^nX_i X=n1i=1∑nXi
样本方差
S2=1n−1∑i=1n(Xi−X‾)2=1n−1(∑i=1nXi2−nX‾2)\ S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2=\frac{1}{n-1}(\sum_{i=1}^nX_i^2-n\overline{X}^2) S2=n−11i=1∑n(Xi−X)2=n−11(i=1∑nXi2−nX2)
样本标准差
S=S2=1n−1∑i=1n(Xi−X‾)2\ S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\overline{X})^2} S=S2=n−11i=1∑n(Xi−X)2
样本k阶原点矩
Ak=1n∑i=1nXik,k=1,2,...\ A_k=\frac{1}{n}\sum_{i=1}^nX_i^k,k=1,2,... Ak=n1i=1∑nXik,k=1,2,...
样本k阶中心矩
Ak=1n∑i=1n（Xi−X‾）k,k=2,3,...\ A_k=\frac{1}{n}\sum_{i=1}^n（X_i-\overline{X}）^k,k=2,3,... Ak=n1i=1∑n（Xi−X）k,k=2,3,...
它们的观察值就是将X小写，形式一样

3.2 来自正态总体的几个常用统计量的分布

χ2\ \chi^2 χ2分布

设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自N(0,1)的样本，则称统计量
χ2=X12+X22+...+Xn2\ \chi^2= X_1^2+X_2^2+...+X_n^2 χ2=X12+X22+...+Xn2
服从自由度为n的χ2\ \chi^2 χ2分布，记为χ2∼χ2(n)\ \chi^2\sim\chi^2(n) χ2∼χ2(n)
其概率密度为
f(y)={12n/2Γ(n/2)yn/2−1e−y/2,y>00,others\ f(y)=\begin{cases} \frac{1}{2^{n/2}\Gamma(n/2)}y^{n/2-1}e^{-y/2},y>0 \\ 0,others \end{cases} f(y)={2n/2Γ(n/2)1yn/2−1e−y/2,y>00,others
χ2\ \chi^2 χ2分布的可加性
设χ12∼χ2(n1)\ \chi_1^2\sim\chi^2(n_1) χ12∼χ2(n1)，χ22∼χ2(n2)\ \chi_2^2\sim\chi^2(n_2) χ22∼χ2(n2)，χ12,χ22\ \chi^2_1,\chi_2^2 χ12,χ22相互独立，则有
χ12+χ22=χ2(n1+n2)\ \chi_1^2+\chi_2^2=\chi^2(n_1+n_2) χ12+χ22=χ2(n1+n2)
χ2\ \chi^2 χ2分布的数学期望和方差
若χ2∼χ2(n)\ \chi^2\sim\chi^2(n) χ2∼χ2(n)，则有
E(χ2)=n,D(χ2)=2n\ E(\chi^2)=n, \ \ D(\chi^2)=2n E(χ2)=n, D(χ2)=2n

t\ t t分布

设X∼N(0,1),Y∼χ2(n)\ X\sim N(0,1), Y\sim\chi^2(n) X∼N(0,1),Y∼χ2(n)，且X，Y相互独立，则称随机变量
t=XY/n\ t=\frac{X}{\sqrt{Y/n}} t=Y/nX
服从自由度为n的t分布，记为t∼t(n)\ t\sim t(n) t∼t(n)
t分布又称学生氏分布，其概率密度函数为
h(t)=Γ[(n+1)/2]πnΓ(n/2)(1+t2n)−(n+1)/2,−∞<t<∞\ h(t)=\frac{\Gamma[(n+1)/2]}{\sqrt{\pi n}\Gamma(n/2)}(1+\frac{t^2}{n})^{-(n+1)/2},-\infty <t<\infty h(t)=πnΓ(n/2)Γ[(n+1)/2](1+nt2)−(n+1)/2,−∞<t<∞

F\ F F分布

设U∼χ2(n1),V∼χ2(n2)\ U\sim \chi^2(n_1), \ \ V\sim \chi^2(n_2) U∼χ2(n1), V∼χ2(n2)，且U，V相互独立，则称随机变量
F=U/n1V/n2\ F=\frac{U/n_1}{V/n_2} F=V/n2U/n1
服从自由度为(n1,n2)\ (n_1,n_2) (n1,n2)的F分布，记为F∼F(n1,n2)\ F\sim F(n_1,n_2) F∼F(n1,n2),其概率密度为
ψ(y)={Γ[(n1+n2)/2](n1/n2)n1/2y(n1/2)−1Γ(n1/2)Γ(n2/2)[1+(n1y/n2)](n1+n2)/2,y>00,others\ \psi(y)=\begin{cases} \frac{\Gamma[(n_1+n_2)/2](n_1/n_2)^{n_1/2}y^{(n_1/2)-1}}{\Gamma(n_1/2)\Gamma(n_2/2)[1+(n_1y/n_2)]^{(n_1+n_2)/2}},y>0 \\ 0,others \end{cases} ψ(y)={Γ(n1/2)Γ(n2/2)[1+(n1y/n2)](n1+n2)/2Γ[(n1+n2)/2](n1/n2)n1/2y(n1/2)−1,y>00,others

正态总体的样本均值和样本方差的分布

定理一
设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自正态总体N(μ,σ2)\ N(\mu, \sigma^2) N(μ,σ2)的样本，X‾\ \overline{X} X是样本均值，则有
X‾∼N(μ,σ2/n)\ \overline{X}\sim N(\mu,\sigma^2/n) X∼N(μ,σ2/n)
定理二
设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自正态总体N(μ,σ2)\ N(\mu, \sigma^2) N(μ,σ2)的样本 ,X‾,S2\ \overline{X},S^2 X,S2是样本均值和方差，则有
(n−1)S2σ2∼χ2(n−1)\ \frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1) σ2(n−1)S2∼χ2(n−1)
X‾与S2相互独立\ \overline{X}与S^2相互独立 X与S2相互独立
定理三
设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自正态总体N(μ,σ2)\ N(\mu, \sigma^2) N(μ,σ2)的样本 ,X‾,S2\ \overline{X},S^2 X,S2是样本均值和方差，则有
X‾−μS/n∼t(n−1)\ \frac{\overline{X}-\mu}{S/\sqrt{n}} \sim t(n-1) S/nX−μ∼t(n−1)
定理四
设X1,X2,...,Xn与Y1,Y2,...,Yn\ X_1,X_2,...,X_n与Y_1,Y_2,...,Y_n X1,X2,...,Xn与Y1,Y2,...,Yn是来自正态总体N(μ1,σ12)\ N(\mu_1, \sigma_1^2) N(μ1,σ12)和N(μ2,σ22)\ N(\mu_2, \sigma_2^2) N(μ2,σ22)的样本，且这两个样本相互独立，X‾,Y‾,S12,S22\ \overline{X}, \overline{Y}, S_1^2, S_2^2 X,Y,S12,S22是样本均值和样本方差，则有
1.S12/S22σ12/σ22∼F(n1−1,n2−1)\ 1.\frac{S_1^2/S_2^2}{\sigma_1^2/\sigma_2^2}\sim F(n_1-1,n_2-1) 1.σ12/σ22S12/S22∼F(n1−1,n2−1)
2.当σ12=σ22=σ2\ \sigma_1^2=\sigma_2^2=\sigma^2 σ12=σ22=σ2时，有
(X‾−Y‾)−(μ1−μ2)Sw1n1+1n2∼t(n1+n2−2)\ \frac{(\overline{X}-\overline{Y})-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2) Swn11+n21(X−Y)−(μ1−μ2)∼t(n1+n2−2)
其中
Sw2=(n1−1)S12+(n2−1)S22n1+n2−2,Sw=Sw2\ S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}, \ \ S_w=\sqrt{S_w^2} Sw2=n1+n2−2(n1−1)S12+(n2−1)S22, Sw=Sw2

七、参数估计

1.点估计

1.1矩估计

列出样本的前k阶矩来解出求出k个未知参数

1.2最大似然估计法

若总体X属于离散型，其分布律P{X=x}=p(x;θ),θ∈Θ\ P\{X=x\}=p(x;\theta),\theta \in \Theta P{X=x}=p(x;θ),θ∈Θ的形式为已知，θ\ \theta θ为待估计参数，Θ\ThetaΘ是θ\ \theta θ可能取值的范围，设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是来自X的样本，则X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn的联合分布律为
Πi=1np(xi;θ)\ \Pi_{i=1}^np(x_i;\theta) Πi=1np(xi;θ)
x1,x2,...,xn\ x_1,x_2,...,x_n x1,x2,...,xn是相应于样本X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn的一个样本值。可以知道样本X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn取到观察值x1,x2,...,xn\ x_1,x_2,...,x_n x1,x2,...,xn的概率，即事件{X1=x1,...,Xn=xn}\ \{X_1=x_1,...,X_n=x_n\} {X1=x1,...,Xn=xn}发生的概率为
L(θ)=L(x1,x2,...,xn;θ)=Πi=1np(xi;θ),θ∈Θ\ L(\theta)=L(x_1,x_2,...,x_n;\theta)=\Pi_{i=1}^np(x_i;\theta),\theta \in \Theta L(θ)=L(x1,x2,...,xn;θ)=Πi=1np(xi;θ),θ∈Θ
其称为样本的似然函数，我们要做的是在θ∈Θ\ \theta \in \Theta θ∈Θ内最大化L(θ)\ L(\theta) L(θ)，求出的θ^\ \hat{\theta} θ^称为θ\ \theta θ的最大似然估计值，相应的统计量θ^(X1,X2,...,Xn)\ \hat{\theta}(X_1,X_2,...,X_n) θ^(X1,X2,...,Xn)称为参数θ的最大似然估计量
一般用对数似然方程来求得最大似然估计θ
ddθlnL(θ)=0\ \frac{d}{d\theta}lnL(\theta)=0 dθdlnL(θ)=0

3.估计量的评选标准

3.1无偏性

设X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn是总体X的一个样本，θ∈Θ\ \theta \in \Theta θ∈Θ是包含在总体X的分布中的带估参数
若估计量θ^=θ^(X1,X2,...,Xn)\ \hat{\theta}=\hat{\theta}(X_1,X_2,...,X_n) θ^=θ^(X1,X2,...,Xn)的数学期望E(θ^)\ E(\hat{\theta}) E(θ^)存在，且对于任意θ∈Θ\ \theta \in \Theta θ∈Θ有
E(θ^)=0\ E(\hat{\theta})=0 E(θ^)=0
则称θ^是θ\ \hat{\theta}是\theta θ^是θ的无偏估计量

3.2有效性

设θ1^=θ1^(X1,X2,...,Xn)\ \hat{\theta_1}=\hat{\theta_1}(X_1,X_2,...,X_n) θ1^=θ1^(X1,X2,...,Xn)与θ2^=θ2^(X1,X2,...,Xn)\ \hat{\theta_2}=\hat{\theta_2}(X_1,X_2,...,X_n) θ2^=θ2^(X1,X2,...,Xn)都是θ的无偏估计量，若对于任意θ∈Θ\ \theta \in \Theta θ∈Θ有
D(θ1^)≤D(θ2^)\ D(\hat{\theta_1})\leq D(\hat{\theta_2}) D(θ1^)≤D(θ2^)
且至少对于某一个θ∈Θ\ \theta \in \Theta θ∈Θ上式不等号成立，则称θ1^较θ2^\ \hat{\theta_1} 较\hat{\theta_2} θ1^较θ2^有效

3.3相合性

设θ^(X1,X2,...,Xn)\ \hat{\theta}(X_1,X_2,...,X_n) θ^(X1,X2,...,Xn)为参数θ的估计量，若对于任意θ∈Θ\ \theta \in \Theta θ∈Θ都满足：对于任意ϵ>0\ \epsilon>0 ϵ>0有
limn→∞P{∣θ^−θ∣<ϵ}=1\ lim_{n \to \infty}P\{|\hat{\theta}-\theta|<\epsilon\}=1 limn→∞P{∣θ^−θ∣<ϵ}=1
则称θ^是θ\ \hat{\theta}是 \theta θ^是θ的相合估计量

4.区间估计

置信区间

设总体X的分布函数F(x;θ)\ F(x;\theta) F(x;θ)含有一个位置参数θ，θ∈Θ\ \theta \in \Theta θ∈Θ，对于给定值α(0<α<1)\ \alpha(0<\alpha<1) α(0<α<1),若由来自X的样本X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn确定的两个统计量θ‾=θ‾(X1,X2,...,Xn)\ \underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n) θ=θ(X1,X2,...,Xn)和θ‾=θ‾(X1,X2,...,Xn)\ \overline{\theta}=\overline{\theta}(X_1,X_2,...,X_n) θ=θ(X1,X2,...,Xn)(θ‾<θ‾)\ (\underline{\theta}<\overline{\theta}) (θ<θ)，对于任意θ∈Θ\ \theta \in \Theta θ∈Θ满足
P{θ‾=θ‾(X1,X2,...,Xn)<θ<θ‾=θ‾(X1,X2,...,Xn)}≥1−α\ P\{\underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n)<\theta<\overline{\theta}=\overline{\theta}(X_1,X_2,...,X_n)\}\ge1-\alpha P{θ=θ(X1,X2,...,Xn)<θ<θ=θ(X1,X2,...,Xn)}≥1−α
则称随机区间(θ‾,θ‾)\ (\underline{\theta},\overline{\theta}) (θ,θ)是θ的置信水平为1−α\ 1-\alpha 1−α的置信区间，θ‾,θ‾\ \underline{\theta},\overline{\theta} θ,θ分别称为置信水平为1-α的双侧置信区间的置信下限和置信上限，1-α称为置信水平
单侧置信区间略，原理相似

寻求未知参数θ\ \theta θ的置信区间的具体做法

1.寻求一个样本X1,X2,...,Xn\ X_1,X_2,...,X_n X1,X2,...,Xn和θ\ \theta θ的函数W=W(X1,X2,...,Xn;θ)\ W=W(X_1,X_2,...,X_n;\theta) W=W(X1,X2,...,Xn;θ)，使得W的分布不依赖θ以及其他未知参数，称具有这种性质的函数W为枢轴量
2.对于给定的置信水平1−α\ 1-\alpha 1−α，定出两个常数a，b，使得
P{a<W(X1,X2,...,Xn;θ)<b}=1−α\ P\{ a<W(X_1,X_2,...,X_n;\theta)<b\}=1-\alpha P{a<W(X1,X2,...,Xn;θ)<b}=1−α
若能从a<W(X1,X2,...,Xn;θ)<b\ a<W(X_1,X_2,...,X_n;\theta)<b a<W(X1,X2,...,Xn;θ)<b得到与之等价的θ的不等式θ‾<θ<θ‾\ \underline{\theta} < \theta < \overline{\theta} θ<θ<θ,其中θ‾=θ‾(X1,X2,...,Xn),,θ‾=θ‾(X1,X2,...,Xn)\ \underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n), \ \ , \overline{\theta}=\overline{\theta}(X_1,X_2,...,X_n) θ=θ(X1,X2,...,Xn), ,θ=θ(X1,X2,...,Xn)都是统计量，那么(θ‾,θ‾)\ (\underline{\theta},\overline{\theta}) (θ,θ)就是θ的一个置信水平为1−α\ 1-\alpha 1−α的置信区间

概率论总结（《概率论与数理统计》第四版浙江大学）相关推荐

高等数学·同济七版+线性代数第六版+概率论与数理统计第四版（教材+辅导）
教材加辅导内容简介 <高等数学>第7版是普通高等教育"十二五"国家级规划教材,在第6版的基础上作了进一步的修订.版教材在保留原教材结构严谨,逻辑清晰.叙述详细.通俗易 ...
《概率论与数理统计》第四版浙江大学第1-5章复习
概率论的基本概念统计规律性:在大量重复实验或观察中所呈现出的具有固定规律性随机现象: 自然界有确定性现象和随机现象,随机现象指个别实验中结果呈现不确定性,在大量重复实验中其结果又具有统计规律性, ...
【概率论与数理统计第三版浙江大学盛骤谢式千潘乘毅编】作业答案
长春工业大学大二下上概率论若对你有帮助的话,记得点赞.关注我哦! 老师布置的作业=教材自带的一些题+老师自己的一些题期末考试题出自"作业"!结课后老师将答案发给我们,作为学姐, ...
《概率论与数理统计》（浙大第四版）第八章总结笔记（纯手写）
一. 写在前面教材:<概率论与数理统计>(浙大第四版) 这份笔记仅为个人笔记,不具有全面性与权威性.但非常希望这份笔记可以给有需要的读者一些启发这份笔记中可能存在错误或者偏差,希望与读 ...
概率论与数理统计初学印象（浙大四版+猴博士网课）
本科时专业必修课只有微积分和线代,概率论与数理统计为选修,但自己怠惰畏难没有去选,致使时至今日不得不选择自学,也算一大遗憾-- 去年七月开始看浙大四版的pdf,学了前两章便暂时搁置.这段时间由于疫情许 ...
[概统]本科二年级概率论与数理统计第四讲连续型随机变量
[概统]本科二年级概率论与数理统计第四讲连续型随机变量连续型随机变量的基本概念均匀分布指数分布正态分布推导正态分布的密度(de Moivre-Laplace定理) 标准正态分布一般的 ...
浙大第四版概率论第一章思维导图
浙大第四版概率论第一章思维导图主要用于自己复习用
浙大第四版概率论第五、六章思维导图
浙大第四版概率论第五.六章思维导图用于自己复习用,比较简略,需要搭配课本
浙大第四版概率论第三章思维导图
浙大第四版概率论第三章思维导图
深入理解计算机系统 -资料整理高清中文版_在所不辞的博客-CSDN博客_深入理解计算机系统第四版pdf
深入理解计算机系统 -资料整理高清中文版_在所不辞的博客-CSDN博客_深入理解计算机系统第四版pdf

概率论总结（《概率论与数理统计》第四版 浙江大学）