码迷,mamicode.com
首页 > 其他好文 > 详细

吴恩达《机器学习》课程总结(7)正则化

时间:2018-07-02 00:03:49      阅读:105      评论:0      收藏:0      [点我收藏+]

标签:特征   例子   模型   预测   帮助   .com   梯度下降法   大小   机器学习   

7.1过拟合的问题

训练集表现良好,测试集表现差。鲁棒性差。以下是两个例子(一个是回归问题,一个是分类问题)

技术分享图片

技术分享图片

解决办法:

(1)丢弃一些不能帮助我们正确预测的特征。可以使用工选择保留哪些特征,或者使用一些模型选择的算法来帮忙(PCA);

(2)正则化。保留素有的特征,但是减少参数的大小。

7.2代价函数

技术分享图片

其中λ称为正则化参数。

经过正则化处理的模型和原模型的可能对比如如下:

技术分享图片

不对θ0正则化。

7.3正则化线性回归

技术分享图片

技术分享图片

对于j=1,2,3……有:

技术分享图片

可以看出,正则化线性回归的梯度下降法的变化在于,每次都会在原有算法的更新规则的基础上令θ值减少了一个额外的值。

7.4正则化的逻辑回归模型

技术分享图片

吴恩达《机器学习》课程总结(7)正则化

标签:特征   例子   模型   预测   帮助   .com   梯度下降法   大小   机器学习   

原文地址:https://www.cnblogs.com/ys99/p/9251603.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!