Nelder–Mead method

标签：

声明来源：（结合了wiki和scholarpedia上的内容，外加自己的一点理解。

Link：https://en.wikipedia.org/wiki/Nelder%E2%80%93Mead_method    &&  http://www.scholarpedia.org/article/Nelder-Mead_algorithm）

Nelder–Mead algorithm ( NM算法 ）其实是一种非常简单易懂的适用于在线最优化的算法。。。总的来说这个算法有些无脑。。。

收敛速度慢，效果一般般，因为适用范围较广（或者说unconstrained optimization，无固定模型也可以）

核心就是：向着最优的解收敛，不断抛弃更新现有的解

简介：

　　n维空间中，由n+1个顶点，可以组成“最简单”的图形，叫单纯形。

　　NM算法就是先构造一个出师的，包含给定点的单纯形。

　　然后使用可能的三种手段（反射，扩展，压缩）去替换函数值最差的顶点。

　　在以上三种手段失效的时候，使用收缩。

　　知道该单纯形的半径足够的小。

　　（半径的定义可以有很多，比如两两点的距离，两两点构成的向量中最大的维度的值，

只要当“半径”趋近与0的时候，该单纯形趋于一个点即可）

以下来自wiki：

x i = x 1 + σ ( x i − x 1 )  for all i  ∈ { 2 , … , n + 1 } {\displaystyle {\textbf {x}}_{i}={\textbf {x}}_{1}+\sigma ({\textbf {x}}_{i}-{\textbf {x}}_{1}){\text{ for all i }}\in \{2,\dots ,n+1\}} . go to step 1.

理解：

Reflection：以最优点为中心，做最差点的反射点，来达到抛弃最差点的目的。

Expansion：扩大最优点的优势，尝试是否能够得到更优的解。

Contraction：收缩搜索范围。

Shrink：整体向着最优解收缩。

Nelder–Mead method

标签：

原文地址：http://www.cnblogs.com/topW2W/p/5559421.html