Newton牛顿法（二）| 收敛性和收敛速度 +初值的选取方法
- 收敛性和收敛速度
对Newton法的迭代函数即公式（1）取导数，有：
φ′(x)=f(x)f′′(x)[f′(x)]2\varphi'(x)=\frac{f(x)f''(x)}{[f'(x)]^2} φ′(x)=[f′(x)]2f(x)f′′(x)
假定x∗x^*x∗是f(x)=0f(x)=0f(x)=0的一个单根，即f(x∗)=0,f′(x∗)≠0f(x^*)=0,f'(x^*)\neq 0f(x∗)=0,f′(x∗)=0，则有φ′(x∗)=0\varphi'(x^*)=0φ′(x∗)=0。所以，当x充分靠近x∗x^*x∗时，可使∣φ′(x)∣≤L<1|\varphi'(x)|\leq L<1∣φ′(x)∣≤L<1成立，从而根据迭代法的局部收敛性定理可知，Newton迭代法在单根x∗x^*x∗的邻近是收敛的。即有下面的Newton法局部收敛性定理。
定理1：若x∗x^*x∗为方程f(x)=0f(x)=0f(x)=0的一个单根，即f(x∗)=0f(x^*)=0f(x∗)=0和f′(x∗)≠0f'(x^*)\neq 0f′(x∗)=0，f(x)f(x)f(x)在x∗x^*x∗领域内有连续二阶导数，则由Newton迭代格式产生的迭代序列{xk}\{x_k\}{xk}局部收敛于x∗x^*x∗，并且收敛速度至少是平方收敛的（如果f′′(x∗)≠0f''(x^*)\neq 0f′′(x∗)=0，则收敛速度为平方收敛）。
可见，Newton法的收敛速度是较快的。定理1指出了Newton迭代法收敛的充分条件。在应用Newton法求方程的根时，应该在根x∗x^*x∗的附近选取迭代初值x0x_0x0，以保证迭代过程的收敛性。在实际计算过程中，可以使用函数图像法来帮助确定迭代初值x0x_0x0。如果要想知道Newton法在根的分布区间[a,b][a,b][a,b]上的收敛性，则应该使用下面的定理。
定理2：设f(x)f(x)f(x)在区间[a,b][a,b][a,b]上二阶导数存在，且满足：
（1）f(a)f(b)<0f(a)f(b)<0f(a)f(b)<0
（2）f′(x)≠0,x∈(a,b)f'(x)\neq 0,x\in(a,b)f′(x)=0,x∈(a,b)
（3）f′′(x)f''(x)f′′(x)不变号，x∈(a,b)x\in(a,b)x∈(a,b)
（4）f′′(x0)f(x0)>0.x0∈(ab,)f''(x_0)f(x_0)>0.x_0\in(ab,)f′′(x0)f(x0)>0.x0∈(ab,)
则Newton迭代公式收敛于f(x)=0f(x)=0f(x)=0在(a,b)(a,b)(a,b)内的惟一根x∗x^*x∗。
下图给出了满足定理2条件的几种情况。定理2的条件（1）保证根的存在性；条件（2）表明函数单调，根惟一；条件（3）表明函数的凹凸性不变；条件（4）保证当x∈[a,b]x\in[a,b]x∈[a,b]时，φ(x)∈[a,b]\varphi(x)\in[a,b]φ(x)∈[a,b].
定理2的条件（4）也可表述为：
f(a)f′(a)<b−a,f(b)f′(b)<b−a\frac{f(a)}{f'(a)}<b-a,\quad \frac{f(b)}{f'(b)}<b-a f′(a)f(a)<b−a,f′(b)f(b)<b−a
此时，对任意的初始近似值x0∈[a,b]x_0\in [a,b]x0∈[a,b]，Newton法均收敛于方程的根x∗x^*x∗。
例2：求方程ex−5x2=0e^x-5x^2=0ex−5x2=0在区间[2，5][2，5][2，5]上的根。
解：用图像法作出函数f(x)=ex−5x2f(x)=e^x-5x^2f(x)=ex−5x2的图像，如下图。很显然，方程在区间[2,5][2,5][2,5]上有一单根。
（1）在根x∗x^*x∗的附近选取迭代初值，用局部收敛性定理来判断迭代过程的收敛性。其二阶导数f′′(x)=ex−10f''(x)=e^x-10f′′(x)=ex−10在整个定义域内为一连续函数，故Newton法在该方程（全部）根的附近都具有局部收敛性。选取初值x0=4.5x_0=4.5x0=4.5，计算结果为x∗=4.7079379x^*=4.7079379x∗=4.7079379。如果不是在区间[2,5][2,5][2,5]上靠近根的附近选取初值，就不能充分保证迭代过程收敛于根x∗=4.7079379x^*=4.7079379x∗=4.7079379。例如，选取初值xn=2.5x_n=2.5xn=2.5，则迭代计算结果就收敛于方程的另一个根xk=0.6052671x_k=0.6052671xk=0.6052671。
（2）用区间收敛性定理来判断迭代过程的收敛性。
由f′(x)=ex−10x=0f'(x)=e^x-10x=0f′(x)=ex−10x=0，得到函数在区间[2,5][2,5][2,5]上的驻点x1=3.5771521x_1=3.5771521x1=3.5771521；由f′′(x)=ex−10=0f''(x)=e^x-10=0f′′(x)=ex−10=0，得到函数在区间[2,5][2,5][2,5]上的拐点x2=2.3025851x_2=2.3025851x2=2.3025851。因此，在区间(x1,5](x_1,5](x1,5]上；f(x1)f(5)<0f(x_1)f(5)<0f(x1)f(5)<0;对于任意的x∈(x1,5)x\in(x_1,5)x∈(x1,5)，始终有f′(x)>0f'(x)>0f′(x)>0和f′′(x)>0f''(x)>0f′′(x)>0。所以为满足f′′(x0)f(x0)>0f''(x_0)f(x_0)>0f′′(x0)f(x0)>0，必须使初值x0∈(x∗,5]x_0\in(x^*,5]x0∈(x∗,5]。如果即取x0=5x_0=5x0=5，则能充分保证迭代计算结果收敛与根x∗x^*x∗。但如果取x0=3.7∉(x∗,5]x_0=3.7\notin (x^*,5]x0=3.7∈/(x∗,5]，f′′(x0)f(x0)>0f''(x_0)f(x_0)>0f′′(x0)f(x0)>0是否成立？又会有什么样的迭代计算结果？
- 初值的选取方法
应用Newton法求方程的根，选择初始值x0x_0x0很重要，如果x0x_0x0取得偏离所求方程的根较远，就可能使迭代过程发散或增加迭代次数。但是，根据Newton法收敛性定理来选取初始值，往往有比较复杂。为此，通常可以采用下面的简化方法：
对于方程f(x)=0f(x)=0f(x)=0，如果
f′′(x0)≠0,∣f′(x0)∣2>∣f(x0)f′′(x0)2∣(2)f''(x_0)\neq 0, \quad |f'(x_0)|^2>|\frac{f(x_0)f''(x_0)}{2}| \tag{2} f′′(x0)=0,∣f′(x0)∣2>∣2f(x0)f′′(x0)∣(2)
则可以保证在大多数情况下Newton迭代过程的收敛性。
例3：用Newton法求x3−x−1=0x^3-x-1=0x3−x−1=0在x0=1.3x_0=1.3x0=1.3附近的一个根。
解：原方程的Newton迭代格式为xk+1=xk−xk3−x−12xk2−1x_{k+1}=x_k-\frac{x_k^3-x-1}{2x_k^2-1}xk+1=xk−2xk2−1xk3−x−1，选取x0=1.5x_0=1.5x0=1.5，迭代结果为：
x1=1.34783,x2=1.32520,x3=1.32472,x4=1.32472x_1=1.34783,\quad x_2=1.32520, \quad x_3=1.32472, \quad x_4=1.32472 x1=1.34783,x2=1.32520,x3=1.32472,x4=1.32472
即迭代4次，有6位有效数字。
如果迭代初值取为x0=0.6x_0=0.6x0=0.6，则迭代计算结果如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sRusrebJ-1590499188369)(/Users/can/Library/Application Support/typora-user-images/image-20200520172406248.png)]
即需要迭代11次才能达到计算精度的要求。
例4：求方程f(x)=x3−2x−5=0f(x)=x^3-2x-5=0f(x)=x3−2x−5=0在x0=2x_0=2x0=2附近的实根。
解：[f′(2)]2=100,f(2)f′′(2)=6[f'(2)]^2=100,\,f(2)f''(2)=6[f′(2)]2=100,f(2)f′′(2)=6，有：
[f′(2)]2>[f(2)⋅f′′(2)]/2[f'(2)]^2>[f(2)·f''(2)]/2 [f′(2)]2>[f(2)⋅f′′(2)]/2
所以可以用x0=2x_0=2x0=2作为初始值。迭代结果为
x1=2.1,x2=2.09457,⋯,x=2.09455x_1=2.1, \quad x_2=2.09457,\cdots, x=2.09455 x1=2.1,x2=2.09457,⋯,x=2.09455
如果选取x0=−2x_0=-2x0=−2作为初值，虽然不能满足（2）式的条件，但计算结果还是收敛于方程的根，只不过是迭代次数有所增加。下图表示了x0=−2x_0=-2x0=−2的迭代计算过程。
Newton牛顿法（二）| 收敛性和收敛速度 +初值的选取方法相关推荐
- 一般迭代法（一）| 原理公式 + 迭代法的收敛性
一般迭代法 1. 基本原理和迭代公式 先看一个例子.设有两个函数 y = φ ( x ) y=\varphi(x) y=φ(x)和 y = x y=x y=x,欲求其交点 x ∗ x^* x∗.为此, ...
- 梯度下降（Gradient Descent）的收敛性分析
©作者 | 黄秋实 单位 | 香港中文大学(深圳) 研究方向 | 智能电网 梯度下降是一种简单且常用的优化方法,它可以被用来求解很多可导的凸优化问题(如逻辑回归,线性回归等).同时,梯度下降在非凸优化 ...
- 6.3 收敛性与稳定性
6.3.1 收敛性 数值计算方法的收敛性是指,当取步长趋近于零时,数值解趋近于精确解的速度.一般来说,数值计算方法的收敛性是判断其优劣的重要指标之一. 数值计算方法的收敛性可以通过数学分析来研究,一般 ...
- 概率论知识回顾（二十）：随机变量序列收敛性
概率论知识回顾(二十) 重点:随机变量序列收敛性 知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答 自己解答不出来的可以查看下面的知识解答巩固知识. 对知识解答有疑问 ...
- 外罚函数法（二）：SUMT算法及其收敛性证明
阅前提示:文章是中山大学-最优化理论-罚函数方法1_哔哩哔哩_bilibili的学习笔记,感兴趣可以看视频,讲的非常好. 目录 SUMT算法 1.SUMT算法描述 2.几何直观理解 收敛性 1.引理 ...
- 四十三、Fluent增强收敛性-伪瞬态计算
0. 伪瞬态作用 为什么要使用伪瞬态的算法?伪瞬态的作用实际上是增加收敛性的,当你的稳态计算收敛性不好时,可以将稳态计算更改为伪瞬态计算,收敛性会增强. 当然还可以通过前面所说的降低松弛因子的方式来增 ...
- 雅可比迭代法的收敛性及谱半径（自己总结心得）
说到雅可比迭代法收敛性,首先引入矩阵谱半径的概念 **谱半径** 当谱半径ρ小于1,即收敛,且半径越少,收敛速度越快. =−cx1n(t)\dot{x}(t)=-c x^{\frac{1}{n}}(t)x˙(t)=−cxn1(t),其中n是大于等于2的整数,c大于0 解:x ...
- 【机器学习基础】EM算法详解及其收敛性证明
EM算法详解 (一)单高斯模型 1.1 一维高斯分布: 1.2 多维高斯分布: (二)最大似然估计 2.1 最大似然估计的数学概念: 2.2 最大似然估计的基本步骤: 2.2.1 构造似然函数: 2. ...
- 从TCP拥塞本质看BBR算法及其收敛性(附CUBIC的改进/NCL机制)
本文试图给出一些与BBR算法相关但却是其之外的东西. 1.TCP拥塞的本质 注意,我并没有把题目定义成网络拥塞的本质,不然又要扯泊松到达和排队论了.事实上,TCP拥塞的本质要好理解的多!TCP拥塞绝大 ...
最新文章
- C/C++ 头文件 #pragma once vs #ifndef
- 【Network Security！】ping命令的用法（全）
- jQuery Masonry 一个 jQuery动态网格布局的插件
- python : HTML+CSS (定时器轮寻)
- C#皮肤之IrisSkin4.dll
- java guava json文件_Json解析文件位置的问题
- 多功能语音播放器上线啦~
- PHP 直接在共享内存中存储数据集
- 网易云api接口_网易云音乐你喜欢吗？你自己也可以做一个
- JavaWeb项目架构之FastDFS分布式文件系统
- GD32F205在IAR上移植FreeRTOS
- 【技术】DTEmpower核心功能技术揭秘(3) - HDDV高维数据可视化技术
- wind river -diab
- ApacheCN 翻译/校对/笔记整理活动进度公告 2019.9.13
- 地域和地方的区别_地方、地域、地区、地面、地段的区别_近义词词典_词林在线词典...
- HTTP 412状态码
- python编程 个人所得税计算器
- 视频文件损坏怎么修复？简单的修复办法分享
- 百度地图API（二）轨迹回放
- JAVA中JButton常用设置