此为本人学习笔记，不具备参考价值，禁止任何形式的传播

统计推断的基本问题参数估计点估计区间估计假设检验线性回归方差分析

参数通常是刻画总体某些概率特征的数量。
当该参数未知时，从总体中抽取一个样本，用某种方法对该参数进行估计，这就是参数估计。

假设总体X∼F(X;θ1,θ2,…,θm)X\sim F(X;\theta_1,\theta_2,\dots,\theta_m)X∼F(X;θ1,θ2,…,θm)，其中分布FFF的表达式已知，但参数θ1,θ2,…,θm\theta_1,\theta_2,\dots,\theta_mθ1,θ2,…,θm未知，若记θ=(θ1,θ2,…,θm)\theta=(\theta_1,\theta_2,\dots,\theta_m)θ=(θ1,θ2,…,θm)，则总体分布可记为：
X∼F(X;θ)X\sim F(X;\theta)X∼F(X;θ)

参数的取值范围称为参数空间，记为Θ\ThetaΘ。

点估计的思想

x1,x2,…,xnx_1,x_2,\dots,x_nx1,x2,…,xn是来自总体X∼F(X;θ1,θ2,…,θm)X\sim F(X;\theta_1,\theta_2,\dots,\theta_m)X∼F(X;θ1,θ2,…,θm)的一个样本，θ1,θ2,…,θm\theta_1,\theta_2,\dots,\theta_mθ1,θ2,…,θm是未知参数。构造mmm个统计量：
随机变量={θ^1(X1,X2,.…Xn)θ^2(X1,X2,.…Xn)…θ^m(X1,X2,.…Xn)随机变量=\begin{cases}\hat{\theta}_1(X_1,X_2,.\dots X_n) \\ \hat{\theta}_2(X_1,X_2,.\dots X_n) \\ \dots \\ \hat{\theta}_m(X_1,X_2,.\dots X_n)\end{cases}随机变量=⎩⎪⎪⎪⎨⎪⎪⎪⎧θ^1(X1,X2,.…Xn)θ^2(X1,X2,.…Xn)…θ^m(X1,X2,.…Xn)

当把样本观测值x1,x2,…,xnx_1,x_2,\dots,x_nx1,x2,…,xn代入上统计量，就得到mmm个数值：
数值={θ^1(x1,x2,…,xn)θ^2(x1,x2,…,xn)…θ^m(x1,x2,…,xn)数值=\begin{cases}\hat{\theta}_1(x_1,x_2,\dots,x_n) \\ \hat{\theta}_2(x_1,x_2,\dots,x_n) \\ \dots \\ \hat{\theta}_m(x_1,x_2,\dots,x_n)\end{cases}数值=⎩⎪⎪⎪⎨⎪⎪⎪⎧θ^1(x1,x2,…,xn)θ^2(x1,x2,…,xn)…θ^m(x1,x2,…,xn)

称θ^k(X1,X2,…,Xn)\hat{\theta}_k(X_1,X_2,\dots,X_n)θ^k(X1,X2,…,Xn)为θ^k\hat{\theta}_kθ^k的估计量(k=1,2,…,m)(k=1,2,\dots,m)(k=1,2,…,m)；
称θ^k(x1,x2,…,xn)\hat{\theta}_k(x_1,x_2,\dots,x_n)θ^k(x1,x2,…,xn)为θ^k\hat{\theta}_kθ^k的估计值(k=1,2,…,m)(k=1,2,\dots,m)(k=1,2,…,m)。

常用的点估计方法：

矩估计法
极大似然法
最小二乘法
贝叶斯方法

矩估计的思想

假设总体X∼F(X;θ1,θ2,…,θm)X\sim F(X;\theta_1,\theta_2,\dots,\theta_m)X∼F(X;θ1,θ2,…,θm)，参数θ1,θ2,…,θm\theta_1,\theta_2,\dots,\theta_mθ1,θ2,…,θm未知，且总体的mmm阶矩存在：
μk(θ1,θ2,…,θm)=E(Xk)(k=1,2,…,m)\mu_k(\theta_1,\theta_2,\dots,\theta_m)=E(X^k)\quad (k=1,2,\dots,m)μk(θ1,θ2,…,θm)=E(Xk)(k=1,2,…,m)

设x1,x2,…,xnx_1,x_2,\dots,x_nx1,x2,…,xn是来自总体XXX的一个样本，则由辛钦大数定律，有：
Ak=1n∑i=1nxikP→μk(θ1,θ2,…,θm),n⟶∞A_k=\frac{1}{n}\sum^{n}_{i=1}x_i^k\underrightarrow{P}\mu_k(\theta_1,\theta_2,\dots,\theta_m),\quad n\longrightarrow \inftyAk=n1i=1∑nxikPμk(θ1,θ2,…,θm),n⟶∞

因此当nnn较大时有
Ak=1n∑i=1nxik≈μk(θ1,θ2,…,θm),(k=1,2,…,m)A_k=\frac{1}{n}\sum^{n}_{i=1}x_i^k\approx\mu_k(\theta_1,\theta_2,\dots,\theta_m),(k=1,2,\dots,m)Ak=n1i=1∑nxik≈μk(θ1,θ2,…,θm),(k=1,2,…,m)

令
{μ1(θ1,θ2,…,θm)=A1μ2(θ1,θ2,…,θm)=A2…μm(θ1,θ2,…,θm)=Am\begin{cases}\mu_1(\theta_1,\theta_2,\dots,\theta_m)=A_1\\\mu_2(\theta_1,\theta_2,\dots,\theta_m)=A_2\\ \dots\\ \mu_m(\theta_1,\theta_2,\dots,\theta_m)=A_m \end{cases}⎩⎪⎪⎪⎨⎪⎪⎪⎧μ1(θ1,θ2,…,θm)=A1μ2(θ1,θ2,…,θm)=A2…μm(θ1,θ2,…,θm)=Am

用样本矩阶矩作为总体矩阶的估计量

其解θ^(x1,x2,…,xn)\hat{\theta}(x_1,x_2,\dots,x_n)θ^(x1,x2,…,xn)称为θ^\hat{\theta}θ^的矩估计量，(k=1,2,…,m).(k=1,2,\dots,m).(k=1,2,…,m).

命题：不论总体XXX服从什么分布，若其期望μ\muμ和方差σ2\sigma^2σ2都存在，则μ\muμ和σ2\sigma^2σ2的矩估计量分别为：
μ^=xˉ=1n∑i=1nXi,σ2^=1n∑i=1n(Xi−Xˉ)2≡E(s2)\hat{\mu}=\bar{x}=\frac{1}{n}\sum^{n}_{i=1}X_i,\hat{\sigma^2}=\frac{1}{n}\sum^{n}_{i=1}(X_i-\bar{X})^2\equiv E(s^2)μ^=xˉ=n1i=1∑nXi,σ2^=n1i=1∑n(Xi−Xˉ)2≡E(s2)
E(s2)E(s^2)E(s2)是修正的样本方差。
矩估计对均匀分布的参数估计不是很好。

矩估计小结

原理直观
只用到总体矩，方法简单，若总体矩不存在，则无法使用矩估计法（反例：Cauchy分布）
矩估计基于大数定律，所以通常在大样本情况下才有较好的效果。

统计学基础(四)：矩估计相关推荐

统计知识基础（三）常用构造估计量的两种方法——矩估计、最大似然估计
矩估计法矩估计法的定义矩估计法是用样本kkk阶矩作为总体的kkk阶矩的估计量,建立含待估计参数的方程,从而解出带估计参数.矩估计中,总体均值与方差的矩估计量的表达式不因不同的总体分布而异.通俗的讲 ...
统计学笔记1：截尾分布的矩估计与极大似然估计
截尾分布的矩估计与极大似然估计在参数估计中,我们通常喜欢用极大似然估计来估计一个参数,这样估计的参数通常具有良好的性质,但有时其并不那么容易求解.在参数估计中,矩估计的计算方法较为简易,但其结果的偏 ...
参数估计：极大似然估计、矩估计的基本概念及应用方法
来源:首席数据科学家今天分享一下关于参数估计的基本概念.尤其是极大似然估计,有着重要的应用. 01 - 参数估计的定义首先,什么是参数估计呢? 之前我们其实已经了解到很多种分布类型了,比如正态分布 ...
linux孟庆昌第六章课后题_第六章参数估计-矩估计：通过课后题理解矩估计
具体思路(一般是求一阶原点矩和一阶中心矩即期望与方差) 根据总体的分布以及概率函数,计算出总体的数学期望与方差,得到总体矩的函数用样本矩的函数取替换总体矩的函数. 题目一-基础概念题:矩估计的定义 ...
机器学习笔记1.矩估计、极大似然估计。
1.矩估计 1.1矩估计思想: 矩估计是基于一种简单的"替换"思想,即用样本矩估计总体矩 1.2矩估计理论: 矩估计的理论依据就是基于大数定律的,大数定律语言化表述为:当总体的k阶 ...
老树新芽——矩估计遇到神经网络
目录老树新芽--矩估计遇到神经网络问题解决方案 \(\text{GARCH}(1,1)\) 模型的神经矩估计设想代码实现验证估计结果 \(\omega\) \(\alpha\) \(\bet ...
机器学习中的数学——点估计（二）：矩估计
分类目录:<机器学习中的数学>总目录相关文章: · 点估计(一):基础知识 · 点估计(二):矩估计 · 点估计(三):极大似然估计/最大似然估计(Maximum Likelihood ...
机器学习总结(三)：矩估计
鉴于后续机器学习课程中多次提到参数估计的概念,为了避免囫囵吞枣的理解某些知识点,决定对概率统计的这部分知识点进行简要总结,这篇博客主要涉及的是点估计中的矩估计知识点,后续的博客将总结点估计中其他两个比 ...
数学：矩估计和最大似然估计
一.为什么要估计(estimate) 在概率,统计学中,我们所要观测的数据往往是很大的,(比如统计全国身高情况)我们几乎不可能去统计如此之多的值.这时候,就需要用到估计了.我们先抽取样本,然后通过统计 ...

统计学基础(四)：矩估计