过拟合

标签：

SVM当然会过拟合，而且过度拟合的能力还非常强。
首先我想说说什么叫过度拟合？
就是模型学岔路了，把数据中的噪音当做有效的分类标准。
通常越是描述能力强大的模型越容易过度拟合。描述能力强的模型就像聪明人，描述能力弱的如：”一次线性模型“像傻子，如果聪明人要骗人肯定比傻子更能自圆其说对不对？
而SVM的其中一个优化目标：最小化||W||，就是抑制它的描述能力，聪明人是吧，只允许你用100个字，能把事情说清楚不？这就是为什么regularization能够对抗过度拟合，同时它也在弱化模型的描述能力。但只要能说话就能说谎，就能歪曲事实对不对？
只有少数几种模型有抗过拟合的能力如Random Forrest，AdaBoost等
别把SVM想得太复杂，你就可以把它当做一个线性分类器只不过它优化了分类平面与分类数据之间距离。
把下面这三节课耐心的听完，对过拟合和SVM的理解就会心有所悟了。
加州理工学院公开课：机器学习与数据挖掘_LA___Lecture 12_ [ Regularization ]_网易公开课
加州理工学院公开课：机器学习与数据挖掘_NA___Lecture 14_ [ Support Vector Machines_网易公开课
加州理工学院公开课：机器学习与数据挖掘_OA___Lecture 15_ [ Kernel Methods ]_网易公开课

过拟合

标签：

原文地址：http://www.cnblogs.com/zhizhan/p/4535602.html