码迷,mamicode.com
首页 > 其他好文 > 详细

多变量线性回归

时间:2019-01-08 14:58:44      阅读:172      评论:0      收藏:0      [点我收藏+]

标签:简单的   需要   取值   png   迭代   .com   info   阈值   两种方法   

 一、表达式

技术分享图片

技术分享图片

用向量的形式表示

技术分享图片

 

 二、多元梯度下降法

 技术分享图片

 

 技术分享图片

规定x0(i)=1

 

三、多元梯度下降法演练——特征缩放

技术分享图片

保证这些特征都处在一个相近的范围,不同特征取值在相近的范围内。

 如果不在两个特征的数值范围差距很大,关于θ的关系函数会是一个又长又扁的椭圆。而这种情况下防止达不到收敛,只能进行一小步一小步的梯度计算,而且过程较复杂。

而特征数值差异较小的情况可以找到更直接的方式

那么我们可以通过归一化来降低差别

技术分享图片

 

 不一定要求范围一定在-1到1之间或者说不同特征范围完全相同,相近的都可以。但不能过小也不能过大

技术分享图片

对特征缩放,除了简单的归一化,还可以进行均值归一化

技术分享图片

 

 技术分享图片

总结:特征缩放使梯度下降收敛更快,迭代次数更少。

 

四、多元梯度下降法——学习率α

 目标:

技术分享图片

技术分享图片

两种方法:一种看图,一种通过自动收敛测试(但这个阈值的确定十分困难)

 

下面这两种J(θ)都需要减少α的值

 技术分享图片

 

 

 技术分享图片

 

 五、特征和多项式回归(线性回归拟合复杂函数或非线性函数)

 定义新的特征

 技术分享图片

P:多项式回归——不是变量不是全都式一阶

技术分享图片

 

 

 

 

 

 六、正规方程

未完

 

多变量线性回归

标签:简单的   需要   取值   png   迭代   .com   info   阈值   两种方法   

原文地址:https://www.cnblogs.com/rinroll/p/10237095.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!