标签:回归 div 算法 技术分享 class .net 公式 -- sdn
在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍还有一种求解最大似然概率?(θ)的方法,即牛顿迭代法。
在牛顿迭代法中。如果一个函数是,求解θ值使得f(θ)=0。
在图1中可知,
图1
选择一个点,相应函数值为,并将相应的切线与x轴相交的点记为,所以 ,依此类推可知牛顿迭代规律。
为了求得最大似然概率?(θ)。让,所以牛顿迭代方法确定最大似然概率的公式为:
在Logistic回归中,θ是一个向量。
因此公式可表示为:
H是一个n*n的矩阵。被俗称为Hessian。
斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法
标签:回归 div 算法 技术分享 class .net 公式 -- sdn
原文地址:http://www.cnblogs.com/brucemengbm/p/6764489.html