Numerical Optimization之Nonlinear Equations

对于局部方法，当接近最优点时，才保证收敛。单位步长。
全局方法采用线搜索或信赖域方法

1 局部方法

1.1 牛顿方法

如上图，求解非线性方程组的根类似于求解无约束问题中的最优值，最优值在稳定点取到。

非精确牛顿法任然是local 的算法，没有使用精确的线搜索

不精确牛顿法余量不超过一个上界

1.1.2 Broyden’s Method

利用BkB_kBk近似雅可比，不要求其对称
推导如下图，

2. 全局算法

出现在一个区间内震荡的原因是前面的牛顿方法没有采用精确的线搜索，得到P直接更新迭代点，无法保证向好的方向进行

2.1 价值函数

将原始问题转化为价值函数的优化。

如果雅可比非奇异，则r(x*)=0.对于价值函数的稳定点，如果雅可比非奇异，则稳定点对应r(x)=0的解，但如果奇异的化则有可能稳定点不对应r的根。
所以从价值函数角度（非线性最小二乘）求解会出现这样的问题，但是还是很有益的在很多方面

可以利用最小二乘中的SVD等避免求JTJJ^TJJTJ

2.1信赖域求解

3. Continuation/Homotopy Methods

Numerical Optimization之Nonlinear Equations相关推荐

Note of Numerical Optimization Ch.3
目录 Numerical Optimization Ch.3 Line Search Methods Step Length Convergence of Line Search Methods Ra ...
Numerical Optimization - my afterword
历时六个月, 从第一篇(2018.9.30)到第十九篇(2019.3.17), 感谢各位博友的支持. 就个人而言, 其实这本书早在2018.11就看完了. 写博客纯粹是为了加深自己的印象.锻炼自己的英 ...
Numerical Optimization和Convex optimization 两本书的选择?
Numerical Optimization和Convex optimization 两本书的选择? - 知乎https://www.zhihu.com/question/49689245 Numer ...
数值优化（Numerical Optimization）学习系列-文件夹
概述数值优化对于最优化问题提供了一种迭代算法思路,通过迭代逐渐接近最优解,分别对无约束最优化问题和带约束最优化问题进行求解. 该系列教程能够參考的资料有 1. <Numerical Optim ...
支持向量机：Numerical Optimization
支持向量机:Numerical Optimization by pluskid, on 2010-09-15, in Machine Learning 15 comments 本文是&q ...
数值优化（Numerical Optimization）学习系列-目录
概述数值优化对于最优化问题提供了一种迭代算法思路,通过迭代逐渐接近最优解,分别对无约束最优化问题和带约束最优化问题进行求解. 该系列教程可以参考的资料有 1. <Numerical Optim ...
数值优化（Numerical Optimization）学习系列-惩罚和增广拉格朗日方法（Augmented Lagrangian Methods）
原文地址为: 数值优化(Numerical Optimization)学习系列-惩罚和增广拉格朗日方法(Augmented Lagrangian Methods) 概述求解带约束的最优化问题,一类很 ...
Self-adaptive Differential Evolution Algorithm for Numerical Optimization
0.论文背景本文在DE算法的基础上,提出了一种自适应的差分进化算法(SaDE).其中学习策略的选择和两个控制参数F和CR不需要预先指定. Qin A K, Suganthan P N. Self-a ...
Numerical Optimization Ch17. Penalty and Augmented Lagragian Methods
第十七章: 惩罚函数法与增广Lagrange函数法文章目录第十七章: 惩罚函数法与增广Lagrange函数法 1. 二次罚函数法 1.1 动机 1.2 算法框架 1.3 二次罚函数法的收敛性 1. ...