机器学习中的数学——点估计（一）：基础知识

分类目录：《机器学习中的数学》总目录
相关文章：
· 点估计（一）：基础知识
· 点估计（二）：矩估计
· 点估计（三）：极大似然估计/最大似然估计（Maximum Likelihood Estimate，MLE）
· 点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）

设总体XXX的分布形式已知，但它的一个或多个参数未知，借助于总体XXX的一个样本来估计总体未知参数值的问题称为参数的点估计。设总体X∼f(x;θ)X\sim f(x;\theta)X∼f(x;θ)，其中fff的形式已知，θ\thetaθ是未知参数．例如，总体X∼B(1,p)X\sim B(1, p)X∼B(1,p)，其中ppp未知，这个ppp即为标记总体分布的未知参数，简称总体参数。总体参数虽然是未知的，但是它可能取值的范围却是已知的．称总体参数的取值范围为参数空间，记作Θ\ThetaΘ．例如，已知总体X∼N(μ,σ2)X\sim N(\mu, \sigma^2)X∼N(μ,σ2)，其中μ\muμ和σ2\sigma^2σ2都未知，参数空间Θ=(μ,σ2):−∞<μ<∞,σ2>0\Theta={(\mu, \sigma^2):-\infty<\mu<\infty, \sigma^2>0}Θ=(μ,σ2):−∞<μ<∞,σ2>0。

设(x1,x2,⋯,xn)(x_1, x_2, \cdots, x_n)(x1,x2,⋯,xn)是取自总体XXX的一个样本，若用一个统计量θ^=θ^(x1,x2,⋯,xn)\hat{\theta}=\hat{\theta}(x_1, x_2, \cdots, x_n)θ^=θ^(x1,x2,⋯,xn)来估计θ\thetaθ，则称θ^\hat{\theta}θ^为参数θ\thetaθ的一个点估计量。θ^\hat{\theta}θ^为参数θ\thetaθ的一个估计量，则有g(θ^)g(\hat{\theta})g(θ^)为参数g(θ)g(\theta)g(θ)的一个估计量．在这里，构造统计量θ^\hat{\theta}θ^常用的方法有矩估计法、极大似然估计和最大后验估计等。

机器学习中的数学——点估计（一）：基础知识相关推荐

机器学习中的数学——点估计（二）：矩估计
分类目录:<机器学习中的数学>总目录相关文章: · 点估计(一):基础知识 · 点估计(二):矩估计 · 点估计(三):极大似然估计/最大似然估计(Maximum Likelihood ...
机器学习中的数学——点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）
分类目录:<机器学习中的数学>总目录相关文章: · 点估计(一):基础知识 · 点估计(二):矩估计 · 点估计(三):极大似然估计/最大似然估计(Maximum Likelihood ...
机器学习中的数学(七)--凸优化的基础知识
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学知识(part4)--拟牛顿法
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识拟牛顿法面临的问题(局部极小/鞍点) 机器学习中的数学知识拟牛顿法
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n
机器学习中的数学知识(part2)
学习笔记,仅供参考,有错必纠参考自:<机器学习与应用>–雷明文章目录机器学习中的数学知识泰勒展开梯度下降法牛顿法机器学习中的数学知识泰勒展开梯度下降法
机器学习中的数学知识(part1)
学习笔记,仅供参考,有错必纠参考自:<机器学习与应用>–雷明文章目录机器学习中的数学知识偏导数与梯度雅克比矩阵 Hessian矩阵奇异值分解向量与矩阵求导机器学习中的数学知 ...
机器学习中的数学：一份新鲜出炉的热门草稿
来源:机器之心本文约1500字,建议阅读5分钟. 本文为你分享近日<Mathematics for Machine Learning>的全部草稿已放出,我们整理了这本书的简要概述. 近日 ...
我们该如何学习机器学习中的数学
数学在机器学习中非常重要,不论是在算法上理解模型代码,还是在工程上构建系统,数学都必不可少.通常离开学校后很难有机会静下心学习数学知识,因此我们最好能通过阅读小组或读书会等形式营造环境,并专注学习那些 ...

机器学习中的数学——点估计（一）：基础知识

机器学习中的数学——点估计（一）：基础知识相关推荐

最新文章

热门文章