码迷,mamicode.com
首页 > 其他好文 > 详细

#Week5 Regularization

时间:2020-01-01 23:59:17      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:就会   reg   权重   tin   color   哪些   回归   模型   nim   

一、The Problem of Overfitting

技术图片
技术图片
欠拟合(high bias):模型不能很好地适应训练集;
过拟合(high variance):模型过于强调拟合原始数据,测试时效果会比较差。
处理过拟合:
1、丢弃一些特征,包括人工丢弃和算法选择;
2、正则化:保留所有特征,但减小参数的值。

二、Cost Function

过拟合一般是由高次项引起,那么我们可以通过增加某些项的cost,来降低它们的权重。
在梯度下降过程中,要使损失函数变小,那么\(\theta\)就会变得很小,所以假设函数中的\(\theta\)就会变小,该项的权重就会降低。

如果不知道要惩罚哪些特征,可以一起惩罚(除了\(\theta_0\))。
将代价函数改为:
技术图片
\(\lambda\)是正则化参数。
如果\(\lambda\)过大,那么所有的参数都会最小化,那么假设就会变为\(h_\theta(x)=\theta_0\),造成欠拟合。

三、Regularized Linear Regression

\(\theta_0\)没有正则化处理,所以梯度下降要分情况:
技术图片
化简下:
技术图片
可以看到:
正则化后的参数更新比原来多减小了一个值。

再看线性回归的另外一个工具:常规方程。
技术图片
推导过程省略......

四、Regularized Logistic Regression

对于逻辑回归的代价函数,同样增加一个正则化表达式:
技术图片
梯度下降算法与线性回归相同,不过\(h_\theta(x)\)不同。
技术图片

#Week5 Regularization

标签:就会   reg   权重   tin   color   哪些   回归   模型   nim   

原文地址:https://www.cnblogs.com/EIMadrigal/p/12130865.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!