机器学习——支持向量机（SVM）

标签：

很久之前就学了SVM，总觉得不就是找到中间那条线嘛，但有些地方模棱两可，真正编程的时候又是一团浆糊，参数随意试验，毫无章法。既然又重新学到了这一章节，那就要把之前没有搞懂的地方都整明白，再也不要做无用功了~算法很简单，如果学不会，只是因为懒~写下这段话，只为提醒自己

以下使用到的图片来自上海交大杨旸老师的课件，网址如下：http://bcmi.sjtu.edu.cn/~yangyang/ml/

支持向量机就是一种分类方法，只是起的这个名字，看起来很复杂而已。

中间一条线：分类用的，需要求出系数W

支持向量：线性超平面上的点，可以理解为两边的线上的点

要求：中间那条线到两边的线的距离相等。支持向量（可以想象成那两条线上每条线上的点）的个数<= m +1，m为特征 x 的维数。

目的：找的中间那条线的参数 w 和 b 。

线性SVM

这个图我看了很久，一直没有搞懂 y 在哪里，根据公式明明就直接求出所有的 x 了啊，难道 y = a ？y = a - b ？

其实 y 在这里不是坐标轴啦，是分类0,1,2,...,1,-1之类的，坐标轴上全都是 x1,x2,x3,....这样的啦

搞清楚这个概念，接下来就很好理解了：

两条线之间的距离就直接拿 wx1 + b = a 和  wx2 + b = -a 相减就好啦(x1是上边直线上的点，x2是下边直线上的点)，至于为神马这样 2r 就刚好是垂直距离，很简单，两个点坐标相减就是两点之间的向量，膜就是距离，找两个连线与分类直线垂直的点就OK拉。真正用公式推导是这样的：

w(x1-x2)=2a

||w|| ||x1-x2|| cos<w, x1-x2> = 2a

||x1-x2|| cos<w, x1-x2> = 2a/||w||

公式左边就是距离啦。

证明的第一问也好理解了，这里的在线上指的是 x1 和 x2 都在 wx + b =0 这条线上，相减刚好就是<w, x1- x2> = 0

解释一下：

理想情况下，所有正样本（y=1）都在 wx + b = a 这条线的上边，所有负样本（y=-1）都在 wx + b = -a 这条线的下边，但是两个公式太麻烦啦，那就把 y 当作正负号乘到前边好啦，刚好把上下两条直线公式改编合成这样： (wx + b)y = a ，这样的点是在线上的，但是我们要求正负样本在两侧就好啦，所以改 = 为 >=

max 那句就是说仅仅满足下边的公式还不够，我们需要的是两条线中间的距离最大

总之：就是对于任意的点 j 求使得两条线的距离最大的 w 和 b 

总是带着 a 不太方便，所以我们把等式两边都除以 a ，就有了新的 w 和 b，无所谓啦，反正都是符号，所以就没改啦。

由于a都变成1了，所以最大化 2a / || w || 倒过来就成了 || w || / 2，也就可以简化为求 w . w = || w || 的最小值了~

非线性SVM

一切看起来进展非常顺利，然而！真实的数据很有可能出现一些不太友好的点哦！

于是，我们就需要容忍这些错误~

c：tradeoff parameter 其实就是一个系数

#mistake：错误数，对于每一个错误的点都为1，正确点都取0，最后加到一起（公式为了让总错误最小）

c和#mistake都是变量，可以合在一起成为一个的，但不便于理解

#mistake是算出来的，系数C是根据交叉验证得到的——（交叉验证。。不大懂，之后再说咯）

公式把#mistake改成这样，就相当于对于每一个错误的样本都算出其对应的偏离量，这样放在公式里就是所有偏离量加起来最小。

偏离量是算出来的，系数C是根据交叉验证得到的——（交叉验证。。不大懂，之后再说咯）

规范化损失变量

直接套公式吧。。

hinge loss 我想多解释一下，因为这个样本在它应在的范围（如 >=1 ），那么它其实是没有损失的，也就是全为0就好，所以或许这个损失函数蛮符合SVM的特点~

多分类问题

方法一：

如上图所示——每次把一个类别拿出来，其他类别合成一个大类，当作二分类问题来做。重复n次就OK

缺点：分类的那条线会偏向训练数据量比较小的那一类

方法二：同时求

解释一下公式：

左边是分类在 j 的一个点 xj 乘以它自己的系数，需要满足 w(yj) . xj + b(yj) > = 1

参考方法一，如果这个点用在其他的分类公式中的时候，需要满足 w(y‘) . xj + b(y’) < = 1

所以两个公式放在一起就是： w(yj) . xj + b(yj) > = 1 > = w(y‘) . xj + b(y‘) 

至于非要加上的那个1~~我也不知道为神马，莫非是为了和之前的公式看起来差不多？0.0

加上松弛变量和损失变量就变成了这样：

要去吃饭了，约束最优等下再讲~哈哈

机器学习——支持向量机（SVM）

标签：

原文地址：http://blog.csdn.net/sun7_she/article/details/51083137