牛顿法需要计算目标函数的二阶偏导数，计算复杂，而且有时目标函数的海森矩阵无法保持正定，因此有人提出了拟牛顿法：一种类似牛顿法的方法。思路是不用二阶偏导数就构造出可以近似海森矩阵的正定对称阵。拟牛顿条件是指出了用来近似的矩阵应该满足的条件。 ...
分类：
其他好文 时间：
2018-05-13 21:07:59
阅读次数：
158
转载链接：http://blog.csdn.net/itplus/article/details/21896619 ...
分类：
其他好文 时间：
2017-05-13 10:01:40
阅读次数：
146
目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3) DFP 算法 (4) BFGS 算法 (5) L-BFGS 算法 ...
分类：
其他好文 时间：
2016-04-20 09:20:18
阅读次数：
138
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(...
分类：
其他好文 时间：
2014-06-02 07:27:27
阅读次数：
274
