一直记不住这些算法的推导，所以打算详细点写到博客中以后不记得就翻阅自己的笔记。 泰勒展开式 最初的泰勒展开式，若 在包含 的某开区间（a，b）内具有直到n+1阶的导数，则当x∈（a，b）时，有： 令可得到如下式子： 泰勒展开我的理解就有两个式子。 参考文献：http://baike.baidu.co ...
分类：
编程语言 时间：
2016-07-04 23:40:47
阅读次数：
244
牛顿法推导 牛顿法相当于已知一点的函数值，一介函数值，二阶函数值，可以拟合出一个二次方程的曲线，然后二次方程的最低点也就是下一次更新的x值 但是会面对二阶导非正定的情况，加上hessen矩阵求非常麻烦，所以就有了拟牛顿BFGS B0的初始值，工程上不是I，取为yk/sk,也就是近似的二阶导 ...
分类：
其他好文 时间：
2016-07-03 21:49:13
阅读次数：
141
Deep learning中的优化方法
三种常见优化算法：SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）。
1.SGD（随机梯度下降）
随机梯度下降(Stochastic Gradient Descent, SGD)是随机和优化相结合的产物，是一种很神奇的优化方法，属于梯度下降的一种，适用于大规模问题。
...
分类：
其他好文 时间：
2016-06-24 15:36:58
阅读次数：
629
目录链接 (1) 牛顿法 (2) 拟牛顿条件 (3) DFP 算法 (4) BFGS 算法 (5) L-BFGS 算法 ...
分类：
其他好文 时间：
2016-04-20 09:20:18
阅读次数：
138
Comparing Differently TrainedModelsAt the end of the previous post, we mentioned that the solution found by L-BFGS made different errors compared to t...
分类：
其他好文 时间：
2015-09-27 20:06:47
阅读次数：
216
其它的比gradient descent快， 在某些场合得到广泛应用的求cost function的最小值的方法Conjugate gradient, BFGS,L-BFGS很复杂，可以在不明白详细原理的情况下进行应用。可以使用Octave和matlab的函数库直接进行应用,这些软件里面的build...
分类：
系统相关 时间：
2015-09-15 00:06:00
阅读次数：
240
逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。后来发现在最优化领域中非常常用的l-BFGS方法对于Logistic Regression的收敛速度优化是不错的。l-BFGS方法...
分类：
其他好文 时间：
2015-06-30 18:02:00
阅读次数：
132
一、BFGS算法
在“优化算法——拟牛顿法之BFGS算法”中，我们得到了BFGS算法的校正公式：
利用Sherman-Morrison公式可对上式进行变换，得到
令，则得到：
二、BGFS算法存在的问题
在BFGS算法中，每次都要存储近似Hesse矩阵，在高维数据时，存储浪费很多的存储空间，而在实际的...
分类：
编程语言 时间：
2015-06-06 18:14:07
阅读次数：
280
一、BFGS算法简介
BFGS算法是使用较多的一种拟牛顿方法，是由Broyden，Fletcher，Goldfarb，Shanno四个人分别提出的，故称为BFGS校正。
同DFP校正的推导公式一样，DFP校正见博文“优化算法——拟牛顿法之DFP算法”。对于拟牛顿方程：
可以化简为：
令，则可得：
在B...
分类：
编程语言 时间：
2015-05-20 13:16:54
阅读次数：
256
前面的文章中，讲述过BFGS算法，它是用来求解最优化问题的，在这个算法中，相对于普通的牛顿迭代法有很大的改进。链接：http://blog.csdn.net/acdreamers/article/details/44664941。在BFGS算法中，仍然有缺
陷，比如当优化问题规模很大时，矩阵的存储和计算将变得不可行。为了解决这个问题，就有了L-BFGS算法。
Contents
...
分类：
编程语言 时间：
2015-03-29 19:37:04
阅读次数：
572
