标签：
随机梯度下降
mini batch
批梯度下降算法
牛顿法
考虑这样一个问题，找到函数值为0的点，对于方程
，目标是找到一个
，使得
，这里是一个实数，牛顿法是按照如下方式进行的：
一维情况下，牛顿方法可以简单理解为：随机选取一个点，然后求出f在该点处的切线L，该切线L的斜率即f在该点处倒数，该切线与x轴相交的下一个点即作为下一次迭代的值，这样知道收敛便可求得，过程如下图所示：
在优化方法中，极值点事一阶导函数为0的点，即f’(x)=0,对于一个方程
，如何求得其极值点呢，只需对上述公式做如下修改：
推广到向量形式便得到了 Newton-Raphson method ，形式如下：
这里H叫做Hessian矩阵，形式如下：
L-BFGS
标签：
原文地址：http://www.cnblogs.com/ooon/p/5371927.html
