标签：
牛顿法相当于已知一点的函数值，一介函数值，二阶函数值，可以拟合出一个二次方程的曲线，然后二次方程的最低点也就是下一次更新的x值
但是会面对二阶导非正定的情况，加上hessen矩阵求非常麻烦，所以就有了拟牛顿BFGS
B0的初始值，工程上不是I，取为yk/sk,也就是近似的二阶导
梯度法，牛顿法，拟牛顿法
原文地址：http://www.cnblogs.com/wuxiangli/p/5638752.html
