机器学习——过拟合问题

下面主要总结线性回归与逻辑回归下的过拟合问题。

【过拟合问题的定义】

【过拟合问题的解决方法】
怎样解决过拟合问题呢？两个方法：
1. 减少feature个数（人工定义留多少个feature、算法选取这些feature）
2. 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）
下面我们将对线性回归与逻辑回归的正则化进行详细的讲解。

【一、线性回归的正则化】

过拟合现象如图（右）所示

试想在不改变特征数的条件下，如何使这些特征更好的拟合数据呢？？由图（中）可知，当没有特征x3跟x4时，拟合效果更好；那么如果theta3、theta4都接近于0，特征x3跟x4的作用将会很小，那么拟合效果会接近于图中

因此，我们定义带有正则项的代价函数如下：

粉线为正则化后的拟合图像。
注意：正则项中不包含theta0，因为theta0一般是一个较大的数；lambda不能太大，太大的话θ（1~n）≈0.

那么此时线性回归的梯度下降更新公式如下：

此外线性回归的正则方程如下：

【二、逻辑回归的正则化】

过拟合现象如图右所示

带有正则项的代价函数如下：

那么此时逻辑回归的梯度下降更新公式如下：