L-BFGS算法由于其高效的性能而被广泛运用在实际工程中，本文首先介绍L-BFGS算法和其它算法的比较，然后详细介绍该算法的主要思想以及每一步迭代时近似矩阵的更新细节。...
分类：
编程语言 时间：
2014-11-27 10:48:46
阅读次数：
214
matlab可以用-Conjugate gradient-BFGS-L-BFGS等优化后的梯度方法来求解优化问题。当feature过多时，最小二乘计算复杂度过高（O(n**3)），此时这一些列优化版梯度下降算法就成为了解优化问题的更优选择。它们的优点为：不需要像对原始梯度下降那样手动选择学习速率α一...
分类：
其他好文 时间：
2014-11-14 22:45:17
阅读次数：
785
L-BFGS算法比较适合在大规模的数值计算中，具备牛顿法收敛速度快的特点，但不需要牛顿法那样存储Hesse矩阵，因此节省了大量的空间以及计算资源。本文主要通过对于无约束最优化问题的一些常用算法总结，一步步的理解L-BFGS算法，本文按照最速下降法 - 牛顿法 - 共轭梯度法 - 拟牛顿法 - DFP...
分类：
其他好文 时间：
2014-10-14 17:37:39
阅读次数：
349
本文就拟牛顿法L-BFGS的由来做一个简要的回顾，然后就其在spark mllib中的实现进行源码走读。
分类：
其他好文 时间：
2014-08-25 20:55:34
阅读次数：
2698
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录...
分类：
其他好文 时间：
2014-06-02 07:31:21
阅读次数：
227
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接....
分类：
其他好文 时间：
2014-06-02 07:30:03
阅读次数：
249
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接....
分类：
其他好文 时间：
2014-06-02 07:28:41
阅读次数：
197
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链.....
分类：
其他好文 时间：
2014-06-02 07:28:03
阅读次数：
210
机器学习算法中经常碰到非线性优化问题，如 Sparse Filtering
算法，其主要工作在于求解一个非线性极小化问题。在具体实现中，大多调用的是成熟的软件包做支撑，其中最常用的一个算法是
L-BFGS。为了解这个算法的数学机理，这几天做了一些调研，现把学习过程中理解的一些东西整理出来。目录链接(...
分类：
其他好文 时间：
2014-06-02 07:27:27
阅读次数：
274
