“共轭梯度”、“BFGS”、和“L-BFGS”更成熟，更快的方法来优化θ可以用来代替梯度下降。我们建议您不要自己编写这些更复杂的算法（除非您是数字计算方面的专家），而是使用库，因为它们已经经过测试并高度优化。octave提供它们。 我们首先需要一个函数来评价下面的两个函数为了输入θ： 我们可以编写一 ...
分类：
其他好文 时间：
2017-07-23 21:12:34
阅读次数：
173
转载链接：http://blog.csdn.net/itplus/article/details/21897443 这里，式（2.38）暂时不知如何证出来，有哪位知道麻烦给个思路。 ...
分类：
编程语言 时间：
2017-05-13 11:25:31
阅读次数：
185
转载链接：http://blog.csdn.net/itplus/article/details/21897715 前面的拟牛顿法、DFP、BFGS、L-BFGS算法简短总结一下就是： 牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆 ...
分类：
编程语言 时间：
2017-05-13 11:20:44
阅读次数：
242
马尔科夫随机场（Markov Random Fields, MRFs） MRFs与Gibbs分布等价。 条件随机场（Conditional Random Fields, CRFs）： CRFs的训练方法：迭代梯度法（Iterative Scaling）和L-BFGS 迭代梯度法包括：GIS(Gene ...
分类：
其他好文 时间：
2016-12-08 20:42:39
阅读次数：
252
最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他 拟牛顿法/Quasi-Newton，DFP算法/Davidon-Fletcher-Powell，及BFGS算法/Broyd ...
分类：
编程语言 时间：
2016-11-08 17:20:09
阅读次数：
162
本节讨论给定训练数据集估计条件随机场模型参数的问题，即条件随机场的学习问题。条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及 L-BFGS 算法。（crf++ 采用了 L-BFGS 优化... ...
分类：
其他好文 时间：
2016-08-31 18:25:26
阅读次数：
278
本文讲解的是无约束优化中几个常见的基于梯度的方法，主要有梯度下降与牛顿方法、BFGS 与 L-BFGS 算法，无约束优化的问题形式如下，对于 $x \in \mathbb{R}^n$ ,目标函数为： \[\min_xf(x)\] 泰勒级数 基于梯度的方法都会涉及泰勒级数问题，这里简单介绍一下，泰勒级... ...
分类：
其他好文 时间：
2016-08-02 19:20:12
阅读次数：
255
C++ 应用程序性能优化 C++ 应用程序性能优化 eryar@163.com 1. Introduction 对于几何造型内核OpenCASCADE，由于会涉及到大量的数值算法，如矩阵相关计算，微积分，Newton迭代法解方程，以及非线性优化的一些算法，如BFGS，FRPR，PSO等等用于多元函数 ...
分类：
编程语言 时间：
2016-08-01 10:22:02
阅读次数：
289
对于几何造型内核OpenCASCADE，由于会涉及到大量的数值算法，如矩阵相关计算，微积分，Newton迭代法解方程，以及非线性优化的一些算法，如BFGS，FRPR，PSO等等用于多元函数的极值求解，所以这些数值算法的性能直接影响系统的性能。软件的性能优化是计算机软件开发过程中需要一直关注的重要因素... ...
分类：
编程语言 时间：
2016-07-31 14:18:32
阅读次数：
288
逻辑斯蒂回归的牛顿法与拟牛顿法求解，DFP和BFGS的python实现。 ...
分类：
其他好文 时间：
2016-07-09 23:31:38
阅读次数：
356
