Newton-Raphson算法

算法步骤

首先猜测一个最大值点作为迭代的初始值β(0)\beta_{(0)}β(0);
使用递归算法对初始点进行更新β(k+1)=β(k)−H−1(β(k))G(β(k))\beta_{(k+1)} =\beta_{(k)}-H^{-1}(\beta_{(k)})G(\beta_{(k)})β(k+1)=β(k)−H−1(β(k))G(β(k));
– G(.)G(.)G(.)是梯度向量；
– H(.)H(.)H(.)是海塞矩阵；
检查β(k+1)−β(k)<tol\beta_{(k+1)}-\beta_{(k)}< tolβ(k+1)−β(k)<tol是否满足；
– 如果满足，则β^=β(k+1)\hat{\beta}=\beta_{(k+1)}β^=β(k+1);
– 如果不满足，则返回步骤2继续迭代；

# 以Poisson回归为例
class PoissonRegression(object):'''class PoissonRegression方便计算对数似然,梯度矩阵和海塞矩阵'''def __init__(self, y, X, beta):'''按照维度对应关系创建好观测与参数矩阵'''self.X = Xself.n, self.k = X.shapeself.y = y.reshape(self.n, 1)self.beta = beta.reshape(self.k, 1)def mu(self):'''获得mu的n个预测值'''return np.exp(self.X @ self.beta)def logL(self):'''似然函数'''y = self.ymu = self.mu()return np.sum(y*np.log(mu) - mu - np.log(factorial(y)))def G(self):'''梯度向量'''y = self.ymu = self.mu()return X.T @ (y - mu)def H(self):'''海塞矩阵'''X = self.Xmu = self.mu()return -(X.T @ (mu*X))

Newton-Raphson算法相关推荐

Newton Raphson算法
Newton-Raphson算法在统计中广泛应用于求解MLE的参数估计. 对应的单变量如下图: 多元函数算法: Example:(implemented in R) #定义函数f(x) f=funct ...
C++newton raphson method牛顿拉夫森法的实现算法(附完整源码)
C++newton raphson method牛顿拉夫森法的实现算法 C++newton raphson method牛顿拉夫森法的实现算法完整源码(定义,实现,main函数测试) C++newto ...
Python:实现newton raphson牛顿-拉夫森算法(附完整源码)
Python:实现newton raphson牛顿-拉夫森算法 import math as m def calc_derivative(f, a, h=0.001):return (f(a + h) ...
【 NLS 】Newton – Raphson Iteration Procedure of TOA - Based Positioning
上篇博文: [ Notes ]NLS ALGORITHMS of TOA - Based Positioning说到了三种局部迭代算法进行TOA定位,分别为: Newton – Raphson Gau ...
【 ML 】Newton – Raphson Iteration Procedure of TOA - Based Positioning Simulation
由博文可知:ML ALGORITHMS of TOA - Based Positioning Newton – Raphson Iteration: ...
C语言实现牛顿-拉夫逊newton raphson求近似根roots(附完整源码)
实现牛顿-拉夫逊newton raphson求近似根实现以下几个相关的接口实现牛顿-拉夫逊newton raphson求近似根的完整源码(定义,实现,main函数测试) 实现以下几个相关的接口 d ...
机械臂动力学建模（3）- Newton Euler牛顿欧拉算法
Newton Euler算法参考思路(参考丁教授第二讲ppt) 矢量在不同坐标系下的转换关系速度的递推重心处的力和力矩力的递推完整公式代码参考北航丁希仑教授的机器人动力学课件: 检出 ...
如何用matlab解异或方程,Matlab-6:解非线性方程组newton迭代法
函数文件: function x=newton_Iterative_method(f,n,Initial) x0=Initial; tol=1e-11; x1=x0-Jacobian(f,n,x0)\ ...
C和C++算法完整教程专栏完整目录
C和C++算法完整教程专栏完整目录专栏说明如下完整专栏目录如下专栏说明如下内容:C和C++算法完整教程数量:680篇博文(2023年2月15日截止) 更新时间至:2023年2月15日(后续加 ...
python算法完整教程专栏完整目录
python算法完整教程专栏完整目录专栏说明如下专栏目录专栏说明如下内容:python算法完整教程数量:692篇博文(2023年2月15日截止) 更新时间至:2023年2月15日(后续加上去 ...

Newton-Raphson算法

Newton-Raphson算法

算法步骤

Newton-Raphson算法相关推荐

最新文章

热门文章