机器学习中的数学——点估计（二）：矩估计

分类目录：《机器学习中的数学》总目录
相关文章：
· 点估计（一）：基础知识
· 点估计（二）：矩估计
· 点估计（三）：极大似然估计/最大似然估计（Maximum Likelihood Estimate，MLE）
· 点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）

矩估计的思想就是替换思想：用样本原点矩替换总体原点矩。

设总体 X X X的 k k k阶原点矩： μ k = E ( X k ) \mu_k=E(X_k) μk=E(Xk)，样本的 k k k阶原点矩为：
A k = 1 n ∑ i = 1 n X i k A_k=\frac{1}{n}\sum_{i=1}^nX_i^k Ak=n1i=1∑nXik

如果未知参数 θ = ϕ ( μ 1 , μ 2 , ⋯ , μ m ) \theta=\phi(\mu_1, \mu_2, \cdots, \mu_m) θ=ϕ(μ1,μ2,⋯,μm)，则 θ \theta θ的矩估计量为：
θ ^ = ϕ ( A 1 , A 2 , ⋯ , A m ) \hat{\theta}=\phi(A_1, A_2, \cdots, A_m) θ^=ϕ(A1,A2,⋯,Am)

当正态分布均值 μ \mu μ已知和 μ \mu μ未知时， σ 2 \sigma^2 σ2的矩估计的结论不一样：

设一个总体 X X X的均值 E ( X ) = μ E(X)=\mu E(X)=μ和方差 D ( X ) = σ 2 D(X)=\sigma^2 D(X)=σ2都未知， ( X 1 , X 2 , ⋯ , X n ) (X_1, X_2, \cdots, X_n) (X1,X2,⋯,Xn)为取自该总体的一个样本，则 ( ˉ X ) \bar(X) (ˉX)是 μ \mu μ的矩估计量， S n 2 S_n^2 Sn2是 σ 2 \sigma^2 σ2的矩估计量， S n S_n Sn是 σ 2 \sigma^2 σ2的矩估计量。

机器学习中的数学——点估计（二）：矩估计相关推荐

机器学习中的数学——点估计（一）：基础知识
分类目录:<机器学习中的数学>总目录相关文章: · 点估计(一):基础知识 · 点估计(二):矩估计 · 点估计(三):极大似然估计/最大似然估计(Maximum Likelihood ...
机器学习中的数学——点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）
分类目录:<机器学习中的数学>总目录相关文章: · 点估计(一):基础知识 · 点估计(二):矩估计 · 点估计(三):极大似然估计/最大似然估计(Maximum Likelihood ...
机器学习中的数学原理——二分类问题
今天是2022年的最后一天,提前祝大家新年快乐!这个专栏主要是用来分享一下我在机器学习中的学习笔记及一些感悟,也希望对你的学习有帮助哦!感兴趣的小伙伴欢迎私信或者评论区留言!这一篇就更新一下<白 ...
机器学习中的数学-矩估计
原创文章,如需转载请保留出处本博客为七月在线邹博老师机器学习数学课程学习笔记一. 样本的统计量二. 矩估计 2.1 矩估计定义矩估计的原理即是假设样本的K阶矩等于总体的K阶矩,可以估计出总体的 ...
机器学习中的数学(二)--梯度下降法
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学——距离定义（二十）：相对熵（Relative Entropy）/KL散度（Kullback-Leibler Divergence）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习中的数学——常用概率分布（二）：范畴分布（Multinoulli分布）
分类目录:<机器学习中的数学>总目录相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
机器学习中的数学——距离定义（二十九）：点间互信息（Pointwise Mutual Information, PMI）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习中的数学——距离定义（二）：曼哈顿距离（Manhattan Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...

机器学习中的数学——点估计（二）：矩估计

机器学习中的数学——点估计（二）：矩估计相关推荐

最新文章

热门文章