牛顿法来解最大似然估计

牛顿法来解最大似然估计：

牛顿法解最大似然估计

对于之前我们解最大似然估计使用了梯度下降法，这边我们使用牛顿法，速度更快。

牛顿法也就是要求解可导，θ用下面进行迭代。

具体看这个图

对于我们刚刚的求最大似然估计，也就是,则

下面在原理上说一说。

摘自：http://blog.csdn.net/luoleicn/article/details/6527049

对于一个目标函数f，求函数f的极大极小问题，可以转化为求解函数f的导数f'=0的问题，这样求可以把优化问题看成方程求解问题（f'=0），为了求解f'=0的根，把f（x）的泰勒展开，展开到2阶形式：

这个式子是成立的，当且仅当 Δx 无线趋近于0。此时上式等价与：

求解：

得出迭代公式：

一般认为牛顿法可以利用到曲线本身的信息，比梯度下降法更容易收敛（迭代更少次数），如下图是一个最小化一个目标方程的例子，红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。

在上面讨论的是2维情况，高维情况的牛顿迭代公式是：

其中H是hessian矩阵，定义为：

高维情况依然可以用牛顿迭代求解，但是问题是Hessian矩阵引入的复杂性，使得牛顿迭代求解的难度大大增加，但是已经有了解决这个问题的办法就是Quasi-Newton methond，不再直接计算hessian矩阵，而是每一步的时候使用梯度向量更新hessian矩阵的近似。

牛顿法来解最大似然估计相关推荐

【最大似然估计】详解概率论之最大似然估计
本文收录于<深入浅出讲解自然语言处理>专栏,此专栏聚焦于自然语言处理领域的各大经典算法,将持续更新,欢迎大家订阅! 个人主页:有梦想的程序星空个人介绍:小编是人工智能领域硕士,全 ...
通俗易懂详解机器学习中的最大似然估计
讲解前看个例子: 例子(一个场景): 1.一个盒子里有很多小球,颜色有白色(用w表示)和黑色(用b表示). 条件:(1) 盒子里面小球很多,n个. (2) 只有2中颜色的小球 2. 从盒子里取出来10 ...
NLP --- 隐马尔可夫HMM（极大释似然估计详解）
上一节我们介绍了隐马尔可夫的第三个基本问题的解决方案,但是遇到的问题是在如果语料库没有给出状态转移概率则就不能使用最大释然估计了,因此使用EM算法可以解决,在理解EM算法之前需要理解最大释然估计,本节 ...
R语言-回归系数的极大似然估计
老师要求我们对回归方程中的回归系数进行极大似然估计,回归方程如下: 计算步骤如下: 步骤一:写出似然函数log(β),其中的β为(β0,β1,β2)t(β_0, β_1, β_2)^t(β0,β1 ...
深度模型从研者眼里的似然估计 Hessain 海森矩阵 Fisher Information （费雪信息）...
2019独角兽企业重金招聘Python工程师标准>>> 深度模型的训练的基本依据是最小化模型拟合数据的误差.旨在不仅知其然(如何构建和训练一个深度模型),还应知其所以然(为什么这样训 ...
似然估计 Hessain Fisher Information
深度模型的训练的基本依据是最小化模型拟合数据的误差.旨在不仅知其然(如何构建和训练一个深度模型),还应知其所以然(为什么这样训练,可以做哪些优化).我们就会发现,有很多研究者,在面向一些特定问题下,深 ...
最小二乘与极大似然估计
两者思想的差异最小二乘估计与极大似然估计都是用来样本值来估计真实值的,之所以需要估计,是因为用数学量化真实世界事物关系时总是存在误差. 我们尽管痛苦的承认了有不能解释的误差,但是我们依然想尽可能的让 ...
干货 | 一文搞懂极大似然估计
极大似然估计,通俗理解来说,就是在假定整体模型分布已知,利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值! 换句话说,极大似然估计提供了一种给定观察数据来评估模型参数 ...
专栏 | 机器学习 - 最大似然估计
https://www.toutiao.com/a6672959716013900301/ 生活实例我们在生活中就经常应用到最大似然估计的思想. 比如你高中的班主任上课时从教室门缝进行扒头观测,10 ...

牛顿法来解最大似然估计

牛顿法来解最大似然估计相关推荐

最新文章

热门文章