码迷,mamicode.com
首页 > 编程语言 > 详细

复习机器学习算法:SVM

时间:2015-03-05 10:47:48      阅读:257      评论:0      收藏:0      [点我收藏+]

标签:svm   机器学习   算法   

 

SVM的本质是寻找最大间隔的分割超平面。

SVM的假设也是在样本的每个属性前面乘以一个系数,代价函数是基于LR演化而来的。LR中是S型函数的假设,SVM中是分段函数cost的形式,再包括正则项,最后SVM的代价函数为:

技术分享

 

当C一般要设置地很大,这样子的SVM才能够找到最大间隔的超平面,thetaT*x>=1或者thetaT*x<=-1的时候,我们可以把第一项忽略。这样,转换之后的SVM的目标函数就是我们熟悉的:

技术分享

我们构建拉格朗日函数:

技术分享

分别对w和b求偏导,令偏导等于0,回代,可以得到w和b的最优解,如下:

技术分享

W和b都是alpha表示的,我们使用SMO算法求得alpha。

 

 

利用核函数的概念,解决数据的线性不可分问题。核函数的作用,把显示映射到高维空间转换到隐式映射到高维空间。

 

SVM还可以扩展到多类分类中,利用one vs. one或者one vs. other的规则。

  

SVM的优点:效果较好,既可以适用线性数据,也可以非线性。

缺点:对参数选择敏感。

 

复习机器学习算法:SVM

标签:svm   机器学习   算法   

原文地址:http://blog.csdn.net/puqutogether/article/details/44079187

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!