码迷,mamicode.com
首页 > 其他好文 > 详细

梯度下降算法

时间:2014-06-03 00:06:19      阅读:353      评论:0      收藏:0      [点我收藏+]

标签:c   style   blog   a   tar   http   

Logistic回归的理论内容上篇文章已经讲述过,在求解参数bubuko.com,布布扣时可以用牛顿迭代,可以发现这种方法貌似

太复杂,今天我们介绍另一种方法,叫梯度下降。当然求最小值就是梯度下降,而求最大值相对就是梯度上升。

 

由于bubuko.com,布布扣,如果bubuko.com,布布扣,那么得到

 

             bubuko.com,布布扣

 

现在我们要找一组bubuko.com,布布扣,使得所有的bubuko.com,布布扣最接近bubuko.com,布布扣,设

 

              bubuko.com,布布扣

 

现在我们要找一组bubuko.com,布布扣,使得bubuko.com,布布扣最小。这就是今天要介绍的梯度下降。

 

梯度下降的原理是这样的:首先对于向量bubuko.com,布布扣赋初值,可以赋随机值,也可以全赋为0,然后改变bubuko.com,布布扣的值,使得bubuko.com,布布扣

按梯度下降最快的方向进行,一直迭代下去最终会得到局部最小值。

 

                                             bubuko.com,布布扣

 

bubuko.com,布布扣表示梯度最陡的那个方向,bubuko.com,布布扣表示步长,也就是说每次向下降最快的方向走多远。进一步有

 

              bubuko.com,布布扣

 

所以

               bubuko.com,布布扣

 

简化一下就是

 

                bubuko.com,布布扣

 

随机梯度下降:http://blog.csdn.net/lilyth_lilyth/article/details/8973972

 

 

梯度下降算法,布布扣,bubuko.com

梯度下降算法

标签:c   style   blog   a   tar   http   

原文地址:http://blog.csdn.net/acdreamers/article/details/27660519

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!