Hession矩阵与牛顿迭代法

　　1、求解方程。

　　并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。

　　原理是利用泰勒公式，在x0处展开，且展开到一阶，即f(x) = f(x0)+(x－x0)f'(x0)

　　求解方程f(x)=0，即f(x0)+(x-x0)*f'(x0)=0，求解x = x1=x0－f(x0)/f'(x0)，因为这是利用泰勒公式的一阶展开，f(x) = f(x0)+(x－x0)f'(x0)处并不是完全相等，而是近似相等，这里求得的x1并不能让f（x）=0，只能说f(x1)的值比f(x0)更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以进而推出x(n+1)=x(n)－f(x(n))/f'(x(n))，通过迭代，这个式子必然在f（x*）=0的时候收敛。整个过程如下图：

　　2、牛顿法用于最优化

　　在最优化的问题中，线性最优化至少可以使用单纯行法求解，但对于非线性优化问题，牛顿法提供了一种求解的办法。假设任务是优化一个目标函数f，求函数f的极大极小问题，可以转化为求解函数f的导数f'=0的问题，这样求可以把优化问题看成方程求解问题（f'=0）。剩下的问题就和第一部分提到的牛顿法求解很相似了。

　　这次为了求解f'=0的根，把f（x）的泰勒展开，展开到2阶形式：

　　这个式子是成立的，当且仅当 Δx 无线趋近于0。此时上式等价与：

　　求解：

　　得出迭代公式：

　　一般认为牛顿法可以利用到曲线本身的信息，比梯度下降法更容易收敛（迭代更少次数），如下图是一个最小化一个目标方程的例子，红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。

　　在上面讨论的是2维情况，高维情况的牛顿迭代公式是：

　　其中H是hessian矩阵，定义为：

　　高维情况依然可以用牛顿迭代求解，但是问题是Hessian矩阵引入的复杂性，使得牛顿迭代求解的难度大大增加，但是已经有了解决这个问题的办法就是Quasi-Newton methond，不再直接计算hessian矩阵，而是每一步的时候使用梯度向量更新hessian矩阵的近似。Quasi-Newton method的详细情况我还没完全理解，且听下回分解吧。。。

　　http://blog.sina.com.cn/s/blog_5364f9f20101dkyr.html

Hession矩阵与牛顿迭代法相关推荐

【python】牛顿迭代法求解多元函数的最小值--以二元函数为例
目录一元函数到多元函数的牛顿迭代法 python代码实现过程一元函数到多元函数的牛顿迭代法参考多元函数的牛顿迭代和高斯牛顿法怎么推导? 一元函数的牛顿迭代公式: 多元函数的牛顿迭代公式: 其中 ...
非线性方程组牛顿迭代法matlab,matlab实现牛顿迭代法求解非线性方程组
<matlab实现牛顿迭代法求解非线性方程组>由会员分享,可在线阅读,更多相关<matlab实现牛顿迭代法求解非线性方程组(5页珍藏版)>请在人人文库网上搜索. 1.matla ...
python牛顿法解非线性方程组_matlab实现牛顿迭代法求解非线性方程组.pdf
matlab实现牛顿迭代法求解非线性方程组.pdf matlab 实现牛顿迭代法求解非线性方程组实现牛顿迭代法求解非线性方程组已知非线性方程组如下 3*x1-cosx2*x3-1/20 x12-81 ...
梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现
---------------------梯度下降法------------------- 梯度的一般解释: f(x)在x0的梯度:就是f(x)变化最快的方向.梯度下降法是一个最优化算法,通常也称为最 ...
Logistic回归与牛顿迭代法
在上一篇文章中,我讲述了Logistic回归的原理以及它的梯度上升法实现.现在来研究Logistic回归的另一种实现,即牛顿迭代法. 在上篇文章中,我们求出Logistic回归的似然函数的偏导数为 ...
Pytorch深度学习实战1-6：图解牛顿迭代法，牛顿不止力学三定律
目录 1 引例 2 牛顿迭代算法求根 3 牛顿迭代优化 4 代码实战:Logistic回归 1 引例给定如图所示的某个函数,如何计算函数零点 x 0 x_0 x0? 在数学上我们如何处理这个问题? ...
最优化理论与方法-牛顿迭代法
关注微信公众号[Microstrong],我现在研究方向是机器学习.深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧! 本文同步更新在我的微信公众号里,地址:https:/ ...
matlab牛顿法解非线性方程组,matlab实现牛顿迭代法求解非线性方程组.pdf
资源描述 matlab 实现牛顿迭代法求解非线性方程组实现牛顿迭代法求解非线性方程组已知非线性方程组如下 3*x1-cos(x2*x3)-1/2=0 x1^2-81*(x2+0.1)^2+sin(x ...
Matlab利用牛顿迭代法求解非线性方程组
我们得首先了解牛顿迭代法的原理是什么: 在这里,我以二阶非线性方程组为例: f1(x,y)=0 f2(x,y)=0,求解x,y 原理假设方程组的一组近似解为(x0,y0),将方程f1(x,y)=0与 ...

Hession矩阵与牛顿迭代法

Hession矩阵与牛顿迭代法相关推荐

最新文章

热门文章