码迷,mamicode.com
首页 > 其他好文 > 详细

学习中的梯度下降Ⅱ-学习率

时间:2017-07-23 15:28:20      阅读:166      评论:0      收藏:0      [点我收藏+]

标签:alt   学习   http   一个   调试   阈值   png   成本   梯度下降   

调试梯度下降。用x轴上的迭代数绘制一个图。现在测量成本函数,J(θ)随迭代次数下降。如果J(θ)不断增加,那么你可能需要减少α。

 

自动收敛试验。如果该声明收敛(θ)小于E在一次迭代中减少,其中E是一些小的值,如10?3。然而,在实践中很难选择这个阈值。

技术分享

 

它已被证明,如果学习率α足够小,那么J(θ)每次迭代都减小。

技术分享

 

总结:
如果α太小,收敛速度慢
如果α太大:?可能不会在每次迭代不收敛,从而降低。

 

学习中的梯度下降Ⅱ-学习率

标签:alt   学习   http   一个   调试   阈值   png   成本   梯度下降   

原文地址:http://www.cnblogs.com/zhengzhe/p/7224573.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!