Nelder–Mead method

声明来源：（结合了wiki和scholarpedia上的内容，外加自己的一点理解。

Link：https://en.wikipedia.org/wiki/Nelder%E2%80%93Mead_method && http://www.scholarpedia.org/article/Nelder-Mead_algorithm）

Nelder–Mead algorithm ( NM算法）其实是一种非常简单易懂的适用于在线最优化的算法。。。总的来说这个算法有些无脑。。。

收敛速度慢，效果一般般，因为适用范围较广（或者说unconstrained optimization，无固定模型也可以）

核心就是：向着最优的解收敛，不断抛弃更新现有的解

简介：

　　n维空间中，由n+1个顶点，可以组成“最简单”的图形，叫单纯形。

　　NM算法就是先构造一个出师的，包含给定点的单纯形。

　　然后使用可能的三种手段（反射，扩展，压缩）去替换函数值最差的顶点。

　　在以上三种手段失效的时候，使用收缩。

　　知道该单纯形的半径足够的小。

　　（半径的定义可以有很多，比如两两点的距离，两两点构成的向量中最大的维度的值，

只要当“半径”趋近与0的时候，该单纯形趋于一个点即可）

以下来自wiki：

x i = x 1 + σ ( x i − x 1 ) for all i ∈ { 2 , … , n + 1 } {\displaystyle {\textbf {x}}_{i}={\textbf {x}}_{1}+\sigma ({\textbf {x}}_{i}-{\textbf {x}}_{1}){\text{ for all i }}\in \{2,\dots ,n+1\}} . go to step 1.

理解：

Reflection：以最优点为中心，做最差点的反射点，来达到抛弃最差点的目的。

Expansion：扩大最优点的优势，尝试是否能够得到更优的解。

Contraction：收缩搜索范围。

Shrink：整体向着最优解收缩。

转载于:https://www.cnblogs.com/topW2W/p/5559421.html

Nelder–Mead method相关推荐

Nelder Mead SIMPLEX Algorithm
Nelder Mead SIMPLEX Algorithm 单纯形算法 Nelder-Mead 算法的简单实现示例 Rosenbrock函数用Nelder-Mead Simplex算法优化最后 ...
Nelder–Mead算法详解
目录 1. Nelder–Mead算法[^1] 介绍算法步骤 1. Nelder–Mead算法1 介绍请不要与Dantzig针对线性优化问题的simplex algorithem(单纯型)方法混淆 ...
非梯度类启发式搜索算法：Nelder Mead
算法介绍 Hello,今天给大家介绍一种不基于梯度的优化算法 Nelder Mead. Nelder Mead 算法通常是用来求解非线性(nonlinear).导函数未知情况下目标函数的最大值或者最小 ...
Nelder Mead算法推荐阅读博文
近期在看优化算法,翻了很多教程,发现下面这两篇不错的文章,讲的很浅显易懂,记录一下.建议先看第一篇再看第二篇里面具体的算法步骤,会更加容易理解. 非梯度类启发式搜索算法:Nelder Mead – D ...
单纯性搜索算法 matlab函数,matlab : Nelder mead simplex 单纯形直接搜索算法；
function [ param ] = NeldSearch( param ) %NERDSEARCH 此处显示有关此函数的摘要 % nelder mead simplex 单纯形直接搜索算法: % ...
scipy.optimize.minimize 的优化算法(1): Nelder–Mead Simplex
Nelder–Mead Simplex Algorithm Reference: http://home.agh.edu.pl/~pba/pdfdoc/Numerical_Optimization.p ...
nelder mead方法求解非线性方程组matlab实现
nelder mead方法介绍图形化介绍数学表达式介绍代码实现 % f 是函数句柄或者是符号函数,只接受一个 N 维行矢量作为输入变量, 并返回一个函数值 % x0 是 N 维行矢量, xerr ...
数据科学入门三个月的一些随想
原文首发于简书于[2018.05.30] 这个学期旁听了统数学院的三门课:马景义老师的[数据挖掘],刘苗老师的[时间序列分析],李丰老师的[统计计算]. 我以前说,没有数学的日子里,我的生活中只剩下了 ...
单纯形法（simplex algorithm）
单纯形法(simplex algorithm) (2011-02-17 01:48:44) 标签: 校园分类: 工作篇数学最优化中,由George Dantzig发明的单纯形法(simplex a ...

Nelder–Mead method

Nelder–Mead method相关推荐

最新文章

热门文章