每日一个机器学习算法——正则化

标签：blog   http   io   ar   数据   2014   cti   log   sp   

在对数据进行拟合，学习模型的过程中，会出现以下情况：

1）high variance, overfitting.过拟合

2）high bias, underfiiting.欠拟合

过拟合出现的原因

1）太多的特征。

2）过少的训练数据。

如何解决？

1）减少特征数

2）模型选择算法（model selection algorithm）

3）正则化：保留特征参数，但尽可能减小其幅值为0。

lambuda为正则化参数：看做是一个tradeoff。用于平衡以下两项

1）更好的适应模型

2）将特征的系数尽可能变小

此参数过大，则会出现underfitting. 过小则会出现overfitting.

如何选择正则化参数？后续章节将会论述。

每日一个机器学习算法——正则化

标签：blog   http   io   ar   数据   2014   cti   log   sp   

原文地址：http://www.cnblogs.com/ShaneZhang/p/3937776.html