码迷,mamicode.com
首页 > 其他好文 > 详细

Ng第四课:多变量线性回归(Linear Regression with Multiple Variables)

时间:2017-05-04 20:17:03      阅读:244      评论:0      收藏:0      [点我收藏+]

标签:ppt   lob   支持   http   llvm   god   bpa   gpt   acm   

4.1  多维特征

4.2  多变量梯度下降

4.3  梯度下降法实践 1-特征缩放

4.4  梯度下降法实践 2-学习率

4.5  特征和多项式回归

4.6  正规方程

4.7  正规方程及不可逆性(可选)


 

  4.1  多维特征

目前为止,探讨了单变量/特征的回归模型,现在对房价模型增加更多的特征

增添更多特征后,引入一系列新的注释:   

  • n  代表特征的数量
  •  技术分享代表第 i  个训练实例,是特征矩阵中的第 i 行,是一个向量(vector)。    (图中给转置了)
  •  技术分享代表特征矩阵中第 i 行的第j 个特征,也就是第 i 个训练实例的第 j 个特征。

技术分享  

 

 

支持多变量的假设 h  表示为

技术分享

这个公式中有 n+1 个参数和 n个变量,为了使得公式能够简化一些,引入 x0=1,则公式转化为:

技术分享

 

此时模型中的参数是一个 n+1 维的向量,任何一个训练实例也都是 n+1 维的向量,征矩阵 X 的维度是 m*(n+1)。

技术分享 ,其中上标T代表矩阵转置。

推理图如下:(大红框表示满足了矩阵乘法条件)

技术分享


4.2  多变量梯度下降

与单变量线性回归类似,在多变量线性回归中,也构建一个代价函数,则这个代价函数是所有建模误差的平方和,即:

 技术分享

其中 技术分享

我们的目标和单变量线性回归问题中一样,是要找出使得代价函数最小的一系列参数。

多变量线性回归的批量梯度下降算法为:

 技术分享

即:

 技术分享

求导数后得到:

 技术分享

当 n>=1 时,

 技术分享

技术分享

 技术分享

我们开始随机选择一系列的参数值,计算所有的预测结果后,再给所有的参数一个新的值,如此循环直到收敛。

 

 

Ng第四课:多变量线性回归(Linear Regression with Multiple Variables)

标签:ppt   lob   支持   http   llvm   god   bpa   gpt   acm   

原文地址:http://www.cnblogs.com/Lindaman/p/6808911.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!