多元最大似然估计函数

@(概率论)

最大似然函数用于估计一个未知参数的场景居多，但实际上也可以用于多个未知参数的估计。

δδθiL=0

{\delta \over \delta\theta_i} L = 0

或者令：

δδθilnL=0

{\delta\over \delta\theta_i} ln L = 0

举个例子联系一下：

设X∼N(μ,σ2),μ,σ2X\sim N(\mu,\sigma^2), \mu, \sigma^2为未知参数，x1,x2,...,xnx_1,x_2,...,x_n来自X的一个样本值，求μ,σ2\mu,\sigma^2的最大似然方程组。

这是很有趣的一道题，我之前不会想到这样去切入。

f(x;μ,σ2)=12π‾‾‾√σexp[−12σ2(x−μ)2]→L(μ,σ2)=∏i=1n12π‾‾‾√σexp[−12σ2(xi−μ)2]=(2π)−n2(σ2)−n2exp[−12σ2(xi−μ)2]

f(x;\mu,\sigma^2) = \frac{1}{\sqrt{2\pi} \sigma} \exp[-\frac{1} {2\sigma^2}(x-\mu)^2] \\ \rightarrow L(\mu,\sigma^2) = \prod_{i=1}^n \frac{1} {\sqrt{2\pi} \sigma}\exp[-\frac{1}{ 2\sigma^2} (x_i-\mu)^2] \\ = (2\pi)^{\frac{-n} {2}} (\sigma^2)^{\frac{-n}{2}}\exp[-\frac{1}{ 2\sigma^2} (x_i-\mu)^2]

由此，可以令两个偏导数为0，为了降低复杂度我们选择求的对数的导数。

δδμlnL=1σ2(∑i=1nxi−nμ)=0δδσ2lnL=−n2σ2+12(σ2)2∑i=1n(xi−μ)2=0

{\delta \over \delta\mu}ln L = {1\over \sigma^2}(\sum_{i=1}^nx_i - n\mu) = 0 \\ {\delta \over \delta\sigma^2}ln L = -{n\over 2\sigma^2} + {1\over 2(\sigma^2)^2}\sum_{i=1}^n(x_i - \mu)^2 = 0

由第一个式子可得：

μ̂ =1n∑ni=1xi=x⎯⎯\hat\mu = \frac{1}{n}\sum_{i=1}^nx_i = \overline x

代入第二个式子，可得：

σ̂ 2=1n∑ni=1(xi−x⎯⎯)2\hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\overline x)^2

多元最大似然估计函数相关推荐

深度学习中的最大似然估计简介
统计领域为我们提供了很多工具来实现机器学习目标,不仅可以解决训练集上的任务,还可以泛化.例如参数估计.偏差和方差,对于正式地刻画泛化.欠拟合和过拟合都非常有帮助. 点估计:点估计试图为一些感兴趣的量提 ...
似然函数、最大似然估计简单理解
摘抄自维基百科: https://zh.wikipedia.org/wiki/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0 https://zh.wikipedia.org ...
最大似然估计（Maximum Likelihood，ML）
最大似然估计是一种统计方法,它用来求一个样本集的相关概率密度函数的参数.这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的."似然"是对like ...
《机器学习笔记（三）：多元线性回归与正态分布最大似然估计》
回归问题普遍讨论的是多元线性回归,考虑多个特征可以得到更精确的模型,这其中涉及中心极限定理,正态分布,概率密度函数和最大似然估计. (一)背景--多元线性回归 1.概念本质上就是算法(公式)变换为了 ...
R语言多项式线性模型：最大似然估计二次曲线
全文链接:http://tecdat.cn/?p=18348 "应用线性模型"中,我们打算将一种理论(线性模型理论)应用于具体案例.通常,我会介绍理论的主要观点:假设,主要结果,并 ...
最大似然估计和最小二乘法
最大似然估计:现在已经拿到了很多个样本(你的数据集中所有因变量),这些样本值已经实现,最大似然估计就是去找到那个(组)参数估计值,使得前面已经实现的样本值发生概率最大.因为你手头上的样本已经实现了,其 ...
参数估计—最大似然估计与贝叶斯估计
文章目录一参数估计二最大似然估计 2.1 参数分量 2.2 基本原理 2.3 高斯情况 2.3.1 协方差矩阵Σ\SigmaΣ已知,而均值μ\muμ未知 2.3.2 协方差矩阵Σ\SigmaΣ ...
贝叶斯公式的对数似然函数_最大似然估计和贝叶斯估计学习体会
最大释然估计和贝叶斯参数估计 Jiangxiaodong 1 引言在之前的学习中我们已经知道如何根据先验概率和类条件概率密度来设计最有分类器.但在模式识别的实际应用中,通常得不到有关问题的概率结构的 ...
回归算法 - 线性回归求解 θ（最大似然估计求解）
回顾线性回归的公式:θ是系数,X是特征,h(x) 是预测值. h(x) = θ0 + θ1x1 + θ2x2 + - + θnxn h(x) = Σ θixi( i=0~n ) h(x) = θTX ...

多元最大似然估计函数

多元最大似然估计函数

多元最大似然估计函数相关推荐

最新文章

热门文章