SVM详解(包含它的参数C为什么影响着分类器行为)-scikit-learn拟合线性和非线性的SVM

引言

这篇文章详细地介绍了SVM背后的原理，它为什么是大间距分类器？分类器的参数C为什么影响着分类器的行为？核函数背后采用了什么样的技术，看过这篇文章以后，相信你能很好地理解这些问题。最后，我用scikit-learn来分别来拟合线性和非线性的SVM，让大家对SVM分类器有更加深刻的理解。

找寻最优化目标

相信所有用过SVM的人都知道它是一个大间距分类器。但是，它的原理是什么？它为什么可以最大化决策边界与样本之间的距离？下面我将一步一步的揭开它神秘的面纱。

从上图中我们可以看到，SVM会最大化间距，也就是那个$m$。但是，你可能会疑惑，上面的直线都怎么得出来的，m等于什么？我现在给你一个关于原点到直线距离的公式：

$$对于w^tx = k，我们有距离为：\frac{k}{||w||}$$

这里我给你一个例子，应用一下这个公式，让你更好地理解它。我相信大家很早就知道$y = -x + 1$这个函数图像了吧！如下：

我们可以把$y = -x + 1写成x + y = 1$，这里$w = \begin{bmatrix}1&1\\ \end{bmatrix}， k = 1.应用上面的公式：\frac{k}{||w||} = \frac{1}{\sqrt{2}}$，现在你可以用勾股定理去验证一下这个结论，结果也是一样的。现在如果我们把这个公式应用到$w^tx + b = -1和w^tx + b = 1$，我们就可以得到$m = \frac{2}{||w||}$。

PS：你可以把这两个式子写成$w^tx = -1 -b和w^tx = 1 - b$，最后$b$会约掉，得到我上面的结果。

如果你想要了解得到$m$的全部详细过程，我下面给你的3篇文章它会从最基本的线性代数知识讲起，到最后得到$m$。但是，如果你不了解也没关系，只要用我给你的那个公式就可以的。

http://www.svm-tutorial.com/2014/11/svm-understanding-math-part-1/
http://www.svm-tutorial.com/2014/11/svm-understanding-math-part-2/
http://www.svm-tutorial.com/2015/06/svm-understanding-math-part-3/

现在，我们已经得到了间距$m = \frac{2}{||w||}$，我们的SVM是想要最大化这个间距，也就是最小化$\frac{1}{2}||w||^2$。你可能会想这so easy啊，使$w = 0$不就ok了吗！但是，大家别忘了，我们求这个最小值是有约束的，也就是要分开我们的训练样本。约束如下：

$$\begin{cases} w^Tx_i + b \ge 1, & \text{if $y_i = 1$} \w^Tx_i + b \le -1, & \text{if $y_i = -1$} \end{cases}$$

上面公式中的$i$表示第$i$个训练样本。我们可以把上面的分段函数写的更加紧凑一些，如下：

$$y_i\left( w^Tx_i + b \right) \ge 1 \qquad \forall i$$

现在，我们可以总结一下SVM最优化目标了：

$$最小化：\frac{1}{2}||w||^2 \\ 约束：y_i\left( w^Tx_i + b \right) \ge 1 \qquad \forall i$$

看到此情此景，我们是否想起了什么呢？Yeah，就是拉格朗日乘子（Lagrangemultiplier），它可以搞定这个有约束的最优化条件。

拉格朗日乘子法

为了让大家更好地理解拉格朗日乘子法，现在我用一个实例一步一步地来讲解这个知识点。

假设，我现在有个想要最大化的函数为：$f(x, y) = 2x + y$，这是一个三维的函数，图像如下：

现在，我们有个约束为：$x^2 + y^2 = 1$，这很明显是个圆形。因此，我们可以把这个最优化问题解释成：“单位圆上的哪个点$(x, y)$使得$2x + y$”最大？为了使这个问题简单化，我们用等高线（contour lines）来描述这个问题，如果你不熟悉它，请参考我的这篇文章：http://blog.csdn.net/xlinsist/article/details/50920479

从上图我们可以看出，当$f(x, y)$取得最大值或最小值时的等高线与约束图像相切。其它的函数也都是同样的道理。谈到切线，让我们不禁会想到梯度，下面让我们来看看梯度在我们求解问题的道路中扮演什么样的角色？

函数$f$在点$(x_0, y_0)$的梯度方向总是与通过这点的等高线相互垂直。上面我说过2个图形的等高线是相切的，因此2个函数的梯度方向是一致的。所以如果我们用一个常数乖上一个函数的梯度，我们一定可以得到另一个梯度，公式如下：

$$\nabla f(x_0, y_0) = \lambda_0 \nabla g(x_0, y_0) \qquad \lambda_0是一个常数$$

因此，通过上面我们得出的结论，可以求解我们最初提出的带约束的最优化问题。解题过程如下：

我们上面的2个函数可写成如下形式：

$$f(x, y) = 2x + y \\ g(x, y) = x^2 + y^2 - 1$$ 现在，我们分别求出2个函数的梯度如下：
$$\nabla f(x, y) = \begin{bmatrix}\frac{\partial}{\partial x}(2x + y)\\\frac{\partial}{\partial y}(2x + y)\\ \end{bmatrix} = \begin{bmatrix}2\\1\\ \end{bmatrix}$$
$$\nabla g(x, y) = \begin{bmatrix}\frac{\partial}{\partial x}(x^2 + y^2 - 1)\\\frac{\partial}{\partial y}(x^2 + y^2 - 1)\\ \end{bmatrix} = \begin{bmatrix}2x\\2y\\ \end{bmatrix}$$
$$\begin{bmatrix}2\\1\\ \end{bmatrix} = \lambda_0 \begin{bmatrix}2x_0\\2y_0\\ \end{bmatrix}$$
下面的过程我就不写了，3个方程，3个未知数你一定可以解出结果。

下面我要引入拉格朗日函数（Lagrangian function），它以一种更为紧凑的方式来描述我上面的过程，它的公式如下：

$$\mathcal{L}(x, y, \lambda) = f(x,y) - \lambda(g(x,y) - c)$$

针对我上面提出的例子来说，其中的$f(x,y) = 2x + y、g(x,y)=x^2+y^2、c=1$，代入拉格朗日函数可以得出如下结果：

$$\mathcal{L}(x, y, \lambda) = 2x + y - \lambda(x^2+y^2-1)$$

现在，我要对拉格朗日函数的三个变量分别求导，看看会有什么奇迹发生！！！

$$\frac{\partial}{\partial \lambda}(f(x,y) - \lambda(g(x,y) - c))=0-(g(x,y)-c) \\ \frac{\partial}{\partial x}(f(x,y) - \lambda(g(x,y) - c))=f_x(x,y)-\lambda g_x(x,y) \\ \frac{\partial}{\partial y}(f(x,y) - \lambda(g(x,y) - c))=f_y(x,y)-\lambda g_y(x,y)$$

现在，我们让上面的三个等式分别等于0，得到如下结果：

$$g(x,y)=c \\ f_x(x,y)=\lambda g_x(x,y) \\ f_y(x,y)=\lambda g_y(x,y)$$

如果我们把上面的第2个等式和第3个等式合在一起，就得到了$\nabla f(x, y) = \lambda \nabla g(x, y)$

现在，你已经体会到拉格朗日函数的伟大了吧。它以一种更为紧凑的方式诠释了我们那个例子中的条件。

现在，你已经了解了拉格朗日函数这个强大的数学工具了。现在我们就用这个强大的数学工具来解决SVM的最优化问题吧。

求解SVM背后的最优化问题

在解决这个问题之前，大家可能已经注意到了两个问题。1、因为我们有很多个训练样本，所以SVM的最优化问题有很多约束？2、我们那个例子中的约束条件是等式，而这个约束条件是不等式？

其实解决这2个问题很简单，只要稍微对拉格朗日函数做一些调整就行了。改动如下：

1、只要我们在每个约束前面都乖上一个$\lambda$，在把所有这些约束求和就OK了。
2、拉格朗日乘子（Lagrange multiplier），也就是$\lambda$必须为正的

我们的优化目标如下：

$$最小化：\frac{1}{2}||w||^2 \\ 约束：1-y_i\left( w^Tx_i + b \right) \le 0 \qquad i=1，2，\dots，m$$

拉格朗日函数如下：

$$\mathcal{L}=\frac{1}{2}w^Tw+\sum_{i=1}^m\lambda_i\left(1-y_i(w^Tx_i+b)\right)$$

• $m$：训练样本数
• $||w||^2 = w^Tw$

现在，我们要把拉格朗日函数对$w和b$的梯度设置为0，结果如下：

$$w = \sum_{i=1}^m\lambda_iy_ix_i \\ \sum_{i=1}^m\lambda_iy_i = 0$$

现在，我把上式中的$w$带回到拉格朗日函数中，我们得到了一个只关于$\lambda$的函数：

$$\mathcal{L}=-\frac{1}{2}\sum_{i=1}^m\sum_{i=1}^m\lambda_i\lambda_jy_iy_jx_i^Tx_j+\sum_{i=1}^m\lambda_i$$

提示：对于原式中的$w^Tw$代入部分，你只要把求和符号里面的$x$转置就行了。

现在，我们涉及到了对偶问题（Dual Problem）。如果我们求得了$w$，我们就能解出所有的$\lambda_i$;如果我们求得了所有的$\lambda_i$，我们就解出了$w$，如果你想看关于对偶问题的详细说明，请参考维基百科：https://en.wikipedia.org/wiki/Duality_(optimization)。

如果你不明白什么是对偶问题也是没什么关系的。你只要知道我们最初的优化问题称为primal problem，而上面我们代入$w$得到的结果称为dual problem。现在，我们要最大化这个dual problem。我们的最优化问题如下：

$$最大化：H(\lambda)=\sum_{i=1}^m\lambda_i-\frac{1}{2}\sum_{i=1}^m\sum_{i=1}^m\lambda_i\lambda_jy_iy_jx_i^Tx_j \\ 约束：\lambda_i \ge 0 \qquad 最初引入拉格朗日乘子的属性 \\ 约束：\sum_{i=1}^m\lambda_iy_i=0 \qquad 把最初的拉格朗日函数对b求偏导得出的结果$$

这是一个二次规划（quadratic programming）问题，因此我们总能找到使全局最大化的$\lambda_i$。很多方法可以解决这个最优化问题。在SVM中，sequential minimal optimization（SMO）是一个最受欢迎的算法。在实际应用中，我们就把解决QP问题的方法当做黑盒方法使用就行，你不必知道它具体是怎么工作的。如果你对这个方法很感兴趣，建议你Google一下。

先让我们看看下面这幅图片，我对照这个图片给大家解释一些概念。

上图中的$\alpha_i$，就是我们QP问题中要求的$\lambda_i$。

上图中，非0$\alpha_i$所对应的训练样本（$x_i$）称为支持向量（support vectors），因此上面的$\alpha_1，\alpha_6，\alpha_8$都是支持向量。决策边界只由支持向量决定。上面，我们已经计算出$w = \sum_{i=1}^m\lambda_iy_ix_i$，我们把求出的支持向量代入这个公式就可以求出权重$w$了。公式中的$\lambda_i和y_i$都是标量，因此$w和x_i$的维数是一样的，可见我们的确把权重求对了。

引入松弛变量(slack variables)

对于一些非线性可分的数据集，我们可以用松弛变量这个技巧来解决问题，你可以把它看成是放宽约束，允许一些并没有正确分类的样本存在。如下图：

上图中的$\xi_i$就是松弛变量，它允许样本存在误差。由于它放宽了约束，因此我们可以把约束改成$y_i(w^Tx_i+b)\ge1-\xi_i$。注意：$\xi_i \ge0$。现在，我们的优化目标变成了$\frac{1}{2}||w||^2+C\sum_{i=1}^m\xi_i$

明确了优化目标和约束条件，像上面的例子一样，用拉格朗日函数就能解决这个问题了，这我就不再重复这个过程了。

相信使用SVM分类器的朋友都知道优化目标中的C吧，它完全可以影响分类器的行为。既然已经学到了现在，我们就再多介绍一下这个C吧！！！

如果可以用一句话概括C的话，它就是权衡误差和间距的参数。如果你的C很小，它会给你一个大间距，但是作为牺牲，我们必须要忽视一些错误分类的样本;反之，如果你的C很大，你会尽量正确地分类样本，但是这样做的代价会导致你有很小的间距。如下图：

你现在可能会问，C大一点好，还是小一点好呢？实际上，这没有什么标准的答案，这完全取决于你的训练集是什么样的。看看下面的两个例子：

通过我们上面的最小化函数我们也可以看出：如果C值很大，我们的松弛变量$\xi_i$就会很小，我们允许的误差也就很小，因此分类器会尽量正确分类样本，结果我们就会得到一个小间距的超平面，这样的结果可能会导致在新样本的分类性能很差，而在训练集上的分类性能很好，也就是出现过拟合（overfitting）现象;如果C值很小，我们所允许的误差也就很大，分类器即使要错误地分类样本，它也会找寻大间距的超平面，在这种情况下，如果你的训练集是线性可分的，也有可能出现错误分类的样本。

因此，在SVM算法的训练上，我们可以通过减小C值来避免overfitting的发生。

引入核函数(kernel function)

对于一些非线性可分的训练集，上面我引入了slack变量来解决这个问题。但是，对于一些训练集来说，用slack变量并不是一个好的选择。看看下图：

无论我们怎么调节参数C都不可能拟合出这样一个决策边界，因此slack变量不能很好地解决这个问题。Oh Yeah，核函数闪亮登场！！！下面，让我给大家一下核函数的本质。

现在，如果我把训练集的数据映射到高维空间看看会发生什么的结果呢？如下图：

Oh Yeah，现在线性可分了。但是，这样的方法也伴随着一个问题的出现，为了使我们的训练集线性可分，我们需要引入更多的特征，计算更多的权重系数，甚至这样的特征空间有可能是无限维的，这样的结果会导致我们无法计算。但是一个kernel技巧可以解决这样的问题，下面，让我们看看它是怎么办到的吧！

现在，你回去看看我们那个dual problem的最大化目标函数，训练集中的数据样本仅仅是计算两点之间的内积($x_i^Tx_j$)。因此，只要我们能计算特征空间上的内积，我们就不需要显示地映射数据。下面，用我上面那幅图中的映射举个例子。

我们最初样本的输入空间为：

$$\begin{bmatrix}x_1\\x_2\\ \end{bmatrix}$$

用映射函数$\phi$映射以后的结果为：

$$\phi \left(\begin{bmatrix}x_1\\x_2\\ \end{bmatrix}\right) = \begin{bmatrix}x_1\\x_2\\\sqrt{x_1^2+x_2^2}\\ \end{bmatrix}$$

现在，我们随机挑选出2个映射以后的样本做内积：

$$\langle\phi\left(\begin{bmatrix}a_1\\a_2\\ \end{bmatrix}\right),\phi\left(\begin{bmatrix}b_1\\b_2\\ \end{bmatrix}\right)\rangle=\langle\begin{bmatrix}a_1\\a_2\\\sqrt{a_1^2+a_2^2}\\ \end{bmatrix},\begin{bmatrix}b_1\\b_2\\\sqrt{b_1^2+b_2^2}\\ \end{bmatrix}\rangle=a_1b_1+a_2b_2+\sqrt{(a_1^2+a_2^2)}\sqrt{(b_1^2+b_2^2)}$$

最后，如果我们定义一个核函数K(如下)，我们就不需要显示地映射样本数据：

$$K(x,y)=x\cdot y+\ \|x\|\ \|y\|$$

当然了，核函数有很多种，相信用过SVM的人都知道有什么样的核函数，这里我就不去介绍不同的核函数了。

假定你现在选择了一个合适的核函数$K$，现在我们要修改一下dual problem中的优化目标，如下：

$$H(\lambda)=\sum_{i=1}^m\lambda_i-\frac{1}{2}\sum_{i=1}^m\sum_{i=1}^m\lambda_i\lambda_jy_iy_jK(x_i,x_j)$$

现在，我挑选出一个测试集中的样本$z$来做一下分类：

$$f(z) = \sum_{x_i \in support \ vectors}\lambda_iy_iK(z, x_i) + b$$

在实际应用中，我建议大家先试试低阶多项式核或者RBF核，这两个核都 是很好的选择。

把文章读到现在的朋友，我相信你已经对SVM有个很深入的了解。接下来，让我们拿起手中理论的武器征战实际中的问题吧。

scikit-learn实现线性SVM

如果你对scikit-learn和Iris数据集不算很了解，先看看这篇文章吧：http://blog.csdn.net/xlinsist/article/details/51289825

下面，我就直接上代码了！！！

from sklearn import datasets
import numpy as np
from sklearn.cross_validation import train_test_split

iris = datasets.load_iris() # 由于Iris是很有名的数据集，scikit-learn已经原生自带了。
X = iris.data[:, [2, 3]]
y = iris.target # 标签已经转换成0，1，2了
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0) # 为了看模型在没有见过数据集上的表现，随机拿出数据集中30%的部分做测试

# 为了追求机器学习和最优化算法的最佳性能，我们将特征缩放
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
sc.fit(X_train) # 估算每个特征的平均值和标准差
sc.mean_ # 查看特征的平均值，由于Iris我们只用了两个特征，所以结果是array([ 3.82857143,  1.22666667])
sc.scale_ # 查看特征的标准差，这个结果是array([ 1.79595918,  0.77769705])
X_train_std = sc.transform(X_train)
# 注意：这里我们要用同样的参数来标准化测试集，使得测试集和训练集之间有可比性
X_test_std = sc.transform(X_test)
X_combined_std = np.vstack((X_train_std, X_test_std))
y_combined = np.hstack((y_train, y_test))

# 导入SVC
from sklearn.svm import SVC
svm = SVC(kernel=‘linear‘, C=1.0, random_state=0) # 用线性核，你也可以通过kernel参数指定其它的核。
svm.fit(X_train_std, y_train)
# 打印决策边界，这个函数是我自己写的，如果你想要的话，我发给你
plot_decision_regions(X_combined_std, y_combined, classifier=svm, test_idx=range(105,150))
plt.xlabel(‘petal length [standardized]‘)
plt.ylabel(‘petal width [standardized]‘)
plt.legend(loc=‘upper left‘)
plt.show()

从上图中我们看到我们的线性SVM分类器干的还算不错。下图是不同的核分类的效果，链接中有详细的代码我就不在这重复了。

http://scikit-learn.org/stable/auto_examples/svm/plot_iris.html

SVM分类器中还有很多有用的参数，具体请参考官方文档：http://scikit-learn.org/stable/modules/svm.html#svm

scikit-learn实现非线性SVM

上面我已经介绍了核的概念，它的基本思想就是：通过映射函数$\phi$把训练集数据映射到高维的特征空间（是线性可分的），然后训练线性的SVM分类这个高维的特征空间，最后，我们用同样的映射函数转换测试集中的样本，用高维的特征空间所训练出的线性分类器对其分类。

在用scikit-learn实现算法之前，我先介绍一下高斯核的定义，它的公式如下：

$$K\left( x^{(i)}, x^{(j)} \right) = exp\left( -\gamma \| x^{(i)} - x^{(j)} \| \right)^2 \qquad \gamma = \frac{1}{2\sigma^2}$$

上面的$\gamma$被称为核系数，它在控制overfitting现象上有很大的作用，在下面的2个例子中你会看到它的作用。现在，我就用RBF核（高斯核）来对Irsi数据集进行分类。代码如下：

svm = SVC(kernel=‘rbf‘, random_state=0, gamma=x, C=1.0) # 令gamma参数中的x分别等于0.2和100.0
svm.fit(X_train_std, y_train) # 这两个参数和上面代码中的训练集一样
plot_decision_regions(X_combined_std, y_combined, classifier=svm, test_idx=range(105,150))
plt.xlabel(‘petal length [standardized]‘)
plt.ylabel(‘petal width [standardized]‘)
plt.legend(loc=‘upper left‘)
plt.show()

用上面的两个$\gamma$值，得到了下面两幅图像：

我们看到当gamma = 100.0时，它非常好地拟合了训练数据，但是它在测试集上的表现会非常糟糕，因此产生了过拟合现象。

$\gamma$的值越大，我们的决策边界越柔和

SVM之在线学习（online learning）

有时候，我们的数据集太大而不能全部放到计算机内存中，因此scikit-learn提供了一个解决方案，SGDClassifier中的partial_fit方法允许你在线学习(或minibatch learning)，这个就是在随机梯度下降中的意思。

svm = SGDClassifier(loss=‘hinge‘) # 指定为线性SVM

这个类中有很多方法和参数，具体参考官方文档：http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html

结语

这篇文章大约花费了我3天时间写的，为了让大家能更好地且准确地理解文章，其中有不确定的概念我参考了很多的资料才写在文章中，但谁能无错，希望有不好的地方大家能给指出来，小编在此谢过了。

参考资料

http://www.cise.ufl.edu/class/cis4930sp11dtm/notes/intro_svm_new.pdf
http://pages.cs.wisc.edu/~jerryzhu/cs540/handouts/svm.pdf