码迷,mamicode.com
首页 > 其他好文 > 详细

支持向量机(SVM)(二)-- 拉格朗日对偶(Lagrange duality)

时间:2014-05-07 22:40:35      阅读:331      评论:0      收藏:0      [点我收藏+]

标签:支持向量机svm   拉格朗日对偶   

简介:

1、在之前我们把要寻找最优的分割超平面的问题转化为带有一系列不等式约束的优化问题。这个最优化问题被称作原问题。我们不会直接解它,而是把它转化为对偶问题进行解决。

2、为了使问题变得易于处理,我们的方法是把目标函数和约束全部融入一个新的函数,为了使问题变得易于处理,我们的方法是把目标函数和约束全部融入一个新的函数,即拉格朗日函数,再通过这个函数来寻找最优点。即拉格朗日函数,再通过这个函数来寻找最优点。

3、约束条件可以分成不等式约束条件和等式约束条件,只有等式约束条件的问题我们在高等数学课程中已经学习过了,其解决方法是直接将等式约束加入原问题构造出拉格朗日函数,然后求导即可。现在考虑更加一般性的问题:带不等式约束和等式约束的极值问题如何构造拉格朗日函数求解。
学习拉格朗日对偶原理重要的是理解构造所得的原始问题和原函数的等价性,以及原始问题和对偶问题解得等价性。

回忆一下之前得到的目标函数

bubuko.com,布布扣

要求解这个式子。我们可以通过求解对偶问题得到最优解,这就是线性可分条件下支持向量机的对偶算法,这样做的优点在于:一者对偶问题往往更容易求解;二者可以自然的引入核函数,进而推广到非线性分类问题。

1、我们下看下面的一个式子

bubuko.com,布布扣

上面是要求解的目标函数及其条件。我们可以得到拉格朗日公式为

bubuko.com,布布扣

在这里bubuko.com,布布扣被称为拉格朗日算子

然后分别对w和求偏导,使得偏导数等于0,然后解出bubuko.com,布布扣bubuko.com,布布扣

bubuko.com,布布扣

下面我们将要产生一个既有等式又有不等式条件限制的式子,我们可以叫做原始优化问题,这里简单介绍下拉格朗日对偶的原理。如下式子:

bubuko.com,布布扣

上述式子有两个条件(等式条件和不等式条件)

由此我们定义一般化的拉格朗日公式

bubuko.com,布布扣

这里的bubuko.com,布布扣bubuko.com,布布扣都是拉格朗日算子。不要忘了我们求解的是最小值。

设如下等式:

bubuko.com,布布扣

这里的P代表primal。我们设如下约束条件(primal constraints):

bubuko.com,布布扣

如果条件不全部满足的话,我们总可以调整bubuko.com,布布扣bubuko.com,布布扣使最大值出现正无穷,即会出现下面情况:

bubuko.com,布布扣

因此我们可以得出如下式子:

bubuko.com,布布扣

这样我们原来要求的min f(w)可以转换成求了。

bubuko.com,布布扣

同时我们设

bubuko.com,布布扣

bubuko.com,布布扣将问题转化为先求拉格朗日关于bubuko.com,布布扣的最小值,这个时候就把bubuko.com,布布扣bubuko.com,布布扣看做常量。之后再求最大值。

如下:

bubuko.com,布布扣

这个问题就是原问题的对偶问题,相对于原问题只是更换了min和max的顺序,而一般更换顺序的结果是Max Min(X) <= Min Max(X)。然而在这里两者相等。由此我们可以设如下:

bubuko.com,布布扣

所以在一定的条件下我们可以得到:

bubuko.com,布布扣

因此我们可以解决原问题的对偶问题,但是我们还要看看条件是什么。

假设f和g都是凸函数,h是仿射的(仿射的含义:存在ai, bi,使得bubuko.com,布布扣),并且还要满足存在w使得所有的i都有bubuko.com,布布扣

有了以上的假设,那么一定会存在使得bubuko.com,布布扣是原问题的解,bubuko.com,布布扣是对偶问题的解。同时也满足

bubuko.com,布布扣另外,bubuko.com,布布扣还满足Karush-Kuhn-Tucker( KKT condition),如下式子:

bubuko.com,布布扣

所以bubuko.com,布布扣如果满足了KKT条件,那么他们就是原问题和对偶问题的解。

我们从式子bubuko.com,布布扣和式子bubuko.com,布布扣可以看出如果bubuko.com,布布扣那么bubuko.com,布布扣

这个也就说明bubuko.com,布布扣时,w处于可行域的边界上,这时才是起作用的约束。

而其他位于可行域内部bubuko.com,布布扣)点都是不起作用的约束,其中也就是bubuko.com,布布扣的时候。这个KKT双重补足条件会用来解释支持向量和SMO的收敛测试。


支持向量机(SVM)(二)-- 拉格朗日对偶(Lagrange duality),布布扣,bubuko.com

支持向量机(SVM)(二)-- 拉格朗日对偶(Lagrange duality)

标签:支持向量机svm   拉格朗日对偶   

原文地址:http://blog.csdn.net/u011067360/article/details/25215465

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!