码迷,mamicode.com
首页 > 其他好文 > 详细

斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法

时间:2017-04-25 22:21:11      阅读:253      评论:0      收藏:0      [点我收藏+]

标签:回归   div   算法   技术分享   class   .net   公式   --   sdn   

       在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ,从而确定f(θ)。本篇将介绍还有一种求解最大似然概率?(θ)的方法,即牛顿迭代法。

在牛顿迭代法中。如果一个函数是技术分享,求解θ值使得f(θ)=0。

在图1中可知,

技术分享

图1

选择一个点技术分享,相应函数值为技术分享,并将相应的切线与x轴相交的点记为技术分享,所以技术分享 ,依此类推可知牛顿迭代规律。

技术分享

 为了求得最大似然概率?(θ)。让技术分享,所以牛顿迭代方法确定最大似然概率的公式为:

技术分享

在Logistic回归中,θ是一个向量。

因此公式可表示为:

技术分享

H是一个n*n的矩阵。被俗称为Hessian。

技术分享

 

 

斯坦福《机器学习》Lesson4感想--1、Logistic回归中的牛顿方法

标签:回归   div   算法   技术分享   class   .net   公式   --   sdn   

原文地址:http://www.cnblogs.com/brucemengbm/p/6764489.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!