码迷,mamicode.com
首页 > 其他好文 > 详细

吴恩达《机器学习》课程总结(4)多变量线性回归

时间:2018-07-01 20:57:22      阅读:173      评论:0      收藏:0      [点我收藏+]

标签:比较   img   就是   技术   分享   算法   包含   实践   函数   

4.1多维特征

技术分享图片

上图中列数即为特征的个数,行数是样本数。函数假设如下:

技术分享图片

其中x0=1。

4.2多变量梯度下降

和单变量的损失函数相同:

技术分享图片

其中,技术分享图片

求导迭代如下:

技术分享图片

4.3梯度下降法实践1-特征缩放

特征之间的尺度变化相差很大(如一个是0-1000,一个是0-5),梯度算法需要非常多次的迭代才能收敛,如下图所示:

技术分享图片

方法:将各个特征缩放至大致相同的尺度,最简单的方法就是特征减去均值除以方差。如下所示:

技术分享图片

4.4梯度下降法实践2-学习率

学习率过小收敛慢,学习率过大可能导致无法收敛。

通常通过三倍放大来考虑学习率的设置,比如:0.01,0.03,0.1,0.3,1,3,10……。

4.5特征和多项式回归

比如一个二次模型:

技术分享图片

或者三次模型:

技术分享图片

可以通过创建新特征(即令):

技术分享图片

从而将模型转换成线性模型。

4.6正规方程

前提:对于某些线性回归问题,使用正规方程求解一步到位(导数为零等式求解)。如下所示

技术分享图片

直接令

技术分享图片

参数的解直接为:

技术分享图片

(X包含x0=1)。

梯度下降与正规方程的比较:

技术分享图片

4.7正规方程及不可逆性:

(1)特征之间互相不独立时不可逆;

(2)样本数少于特征数时不可逆。

技术分享图片

技术分享图片

 

吴恩达《机器学习》课程总结(4)多变量线性回归

标签:比较   img   就是   技术   分享   算法   包含   实践   函数   

原文地址:https://www.cnblogs.com/ys99/p/9251200.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!