标签：style blog http color os 使用 ar strong div
的根，选取
作为r的初始近似值，过点
的切线L，L的方程为
，求出L与x轴交点的横坐标
，
的切线，并求该切线与x轴交点的横坐标
，称
次近似值，上式称为牛顿迭代公式。线性化的一种近似方法。把
在点的某邻域内展开成泰勒级数
，取其线性部分（即泰勒展开的前两项），并令其等于0，即
，以此作为非线性方程的近似方程，若
，则其解为， 这样，得到牛顿迭代法的一个迭代关系式。
2. 一般初始化为0
在Logistic回归中，我们要使得对数最大似然值最大，即求
牛顿方法的收敛速度：二次收敛
每次迭代使解的有效数字的数目加倍：假设当前误差是0.01，一次迭代后，误差为0.001，再一次迭代，误差为0.0000001。该性质当解距离最优质的足够近才会发现。
Θ是一个向量而不是一个数字，一般化的公式为：
上述公式的意义就是，用一个一阶导数的向量乘以一个二阶导数矩阵的逆
优点：若特征数和样本数合理，牛顿方法的迭代次数比梯度上升要少得多
缺点：每次迭代都要重新计算Hessian矩阵，如果特征很多，则H矩阵计算代价很大
标签：style blog http color os 使用 ar strong div
原文地址：http://www.cnblogs.com/rcfeng/p/3971922.html
