码迷,mamicode.com
首页 > 其他好文 > 详细

梯度下降的直觉

时间:2017-07-23 11:32:49      阅读:156      评论:0      收藏:0      [点我收藏+]

标签:http   成本   image   梯度下降算法   价值   com   height   情况   最小值   

我们探讨的情况下,我们使用一个参数θ1和绘制其成本函数来实现梯度下降。我们对一个参数的公式是
重复直至收敛:

技术分享

不管斜坡的标志技术分享是什么,θ1最终收敛到最小值。下面的图表显示,当斜率为负,价值θ1增加当它是正的,对θ1值减

技术分享

 

另一方面,我们应该调整参数α,以确保梯度下降算法在合理的时间内收敛。未能收敛或太多的时间来获得最小值意味着我们的步长是错误的.

 

技术分享

 

梯度下降是如何与固定步长α收敛的。

 

在收敛的直觉是技术分享接近0我们的凸函数的底。至少,导数总是0,这样我们就可以得到:

 

技术分享

 

技术分享

 

梯度下降的直觉

标签:http   成本   image   梯度下降算法   价值   com   height   情况   最小值   

原文地址:http://www.cnblogs.com/zhengzhe/p/7223688.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!