码迷,mamicode.com
首页 > 其他好文 > 详细

梯度下降法实践以及特征和多项式回归

时间:2020-02-28 01:32:09      阅读:124      评论:0      收藏:0      [点我收藏+]

标签:函数   图形   昨天   线图   不同   根据   code   alt   算法   

今天解释梯度下降法的实践

从昨天工资模型中我们引入两个变量

姓名      月工资      考勤率     上税率       合计

W          4700元       0.9            0.15         3760元

Z           4900元       0.85          0.26         3675 元 

T           4850元       0.99          0.35         4122.5元

p           4750元       0.95          0.17         4037.5元

...          ...........        .......          ....          .............

我们从其中引入两个变量考勤率x1与上税率x2,

所以我们画出函数的高线图线

技术图片

微微图像看起来比较扁,所以我们要多次叠加才可以收敛

解决办法是将图形收敛到0.5到1之间。

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛。
技术图片
如果学习率过小,那么函数将会更迭很多次数,如果学习率过大,所以函数就会无法收敛。
一般学习率建议采取α=0.01 ,0.03 ,0.1 ,0.3 ,1 ,3 ,10

梯度下降法实践以及特征和多项式回归

标签:函数   图形   昨天   线图   不同   根据   code   alt   算法   

原文地址:https://www.cnblogs.com/tgr12345/p/12375279.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!