码迷,mamicode.com
首页 > 其他好文 > 详细

简易解说拉格朗日对偶(Lagrange duality)

时间:2014-11-09 15:14:58      阅读:188      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   io   color   ar   sp   strong   on   

引言:尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识,非科班出身,如有数学专业博友,望多提意见!



 

 

1.原始问题

假设bubuko.com,布布扣是定义在bubuko.com,布布扣上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题:

bubuko.com,布布扣

bubuko.com,布布扣

称为约束最优化问题的原始问题

现在如果不考虑约束条件,原始问题就是:

bubuko.com,布布扣

因为假设其连续可微,利用高中的知识,对bubuko.com,布布扣求导数,然后令导数为0,就可解出最优解,很easy. 那么,问题来了(呵呵。。。),偏偏有约束条件,好烦啊,要是能想办法把约束条件去掉就好了,bingo! 拉格朗日函数就是干这个的。

 


 

引进广义拉格朗日函数(generalized Lagrange function):

bubuko.com,布布扣

不要怕这个式子,也不要被拉格朗日这个高大上的名字给唬住了,让我们慢慢剖析!这里bubuko.com,布布扣bubuko.com,布布扣拉格朗日乘子(名字高大上,其实就是上面函数中的参数而已),特别要求bubuko.com,布布扣.

 


 

现在,如果bubuko.com,布布扣看作是关于bubuko.com,布布扣的函数,要求其最大值,即

bubuko.com,布布扣

再次注意bubuko.com,布布扣是一个关于bubuko.com,布布扣的函数,经过我们优化(不要管什么方法),就是确定bubuko.com,布布扣的值使得bubuko.com,布布扣取得最大值(此过程中把bubuko.com,布布扣看做常量),确定了bubuko.com,布布扣的值,就可以得到bubuko.com,布布扣的最大值,因为bubuko.com,布布扣已经确定,显然最大值bubuko.com,布布扣就是只和bubuko.com,布布扣有关的函数,定义这个函数为:

bubuko.com,布布扣

其中 bubuko.com,布布扣


 

下面通过bubuko.com,布布扣是否满足约束条件两方面来分析这个函数:

  • 考虑某个bubuko.com,布布扣违反了原始的约束,即bubuko.com,布布扣或者bubuko.com,布布扣,那么:

bubuko.com,布布扣

  注意中间的式子和上面一样是看做bubuko.com,布布扣的函数,其他的都是看作常量,若bubuko.com,布布扣,则令bubuko.com,布布扣,如果bubuko.com,布布扣,很容易值bubuko.com,布布扣使得bubuko.com,布布扣

 

  • 考虑bubuko.com,布布扣满足原始的约束,则:bubuko.com,布布扣,注意中间是关于bubuko.com,布布扣的函数,bubuko.com,布布扣就是个常量,常量的最大值显然是本身.

 

通过上面两条分析可以得出:

bubuko.com,布布扣

那么在满足约束条件下

bubuko.com,布布扣

bubuko.com,布布扣与原始优化问题等价,所以常用bubuko.com,布布扣代表原始问题,下标 P 表示原始问题,定义原始问题的最优值

bubuko.com,布布扣

 


 

原始问题讨论就到这里,做一个总结:通过拉格朗日这位大神的办法重新定义一个无约束问题(大家都喜欢无拘无束),这个无约束问题等价于原来的约束优化问题,从而将约束问题无约束化!

 


 


 

2.对偶问题

定义关于bubuko.com,布布扣的函数:

bubuko.com,布布扣

注意等式右边是关于bubuko.com,布布扣的函数的最小化bubuko.com,布布扣确定以后,最小值就只与bubuko.com,布布扣有关,所以是一个关于bubuko.com,布布扣的函数. 


 

考虑极大化bubuko.com,布布扣,即

bubuko.com,布布扣

  

这就是原始问题的对偶问题,再把原始问题写出来:

bubuko.com,布布扣

形式上可以看出很对称,只不过原始问题是先固定bubuko.com,布布扣中的bubuko.com,布布扣,优化出参数bubuko.com,布布扣,再优化最优bubuko.com,布布扣,而对偶问题是先固定bubuko.com,布布扣,优化出最优bubuko.com,布布扣,然后再确定参数bubuko.com,布布扣.

定义对偶问题的最优值

bubuko.com,布布扣



 

3. 原始问题与对偶问题的关系

定理若原始问题与对偶问题都有最优值,则

bubuko.com,布布扣

证明:对任意的bubuko.com,布布扣bubuko.com,布布扣,有

bubuko.com,布布扣

bubuko.com,布布扣

由于原始问题与对偶问题都有最优值,所以

bubuko.com,布布扣

bubuko.com,布布扣

也就是说原始问题的最优值不小于对偶问题的最优值,但是我们要通过对偶问题来求解原始问题,就必须使得原始问题的最优值与对偶问题的最优值相等,于是可以得出下面的推论:

推论:设bubuko.com,布布扣分别是原始问题和对偶问题的可行解,如果bubuko.com,布布扣,那么bubuko.com,布布扣分别是原始问题和对偶问题的最优解。

所以,当原始问题和对偶问题的最优值相等:bubuko.com,布布扣时,可以用求解对偶问题来求解原始问题(当然是对偶问题求解比直接求解原始问题简单的情况下),但是到底满足什么样的条件才能使的bubuko.com,布布扣呢,这就是下面要阐述的 KKT 条件



 

4. KKT 条件

定理:对于原始问题和对偶问题,假设函数bubuko.com,布布扣bubuko.com,布布扣是凸函数,bubuko.com,布布扣是仿射函数(即由一阶多项式构成的函数,f(x)=Ax + b, A是矩阵,x,b是向量);并且假设不等式约束bubuko.com,布布扣是严格可行的,即存在bubuko.com,布布扣,对所有bubuko.com,布布扣bubuko.com,布布扣,则存在bubuko.com,布布扣,使得bubuko.com,布布扣是原始问题的最优解,bubuko.com,布布扣是对偶问题的最优解,并且

bubuko.com,布布扣

 

 

定理:对于原始问题和对偶问题,假设函数bubuko.com,布布扣bubuko.com,布布扣是凸函数,bubuko.com,布布扣是仿射函数(即由一阶多项式构成的函数,f(x)=Ax + b, A是矩阵,x,b是向量);并且假设不等式约束bubuko.com,布布扣是严格可行的,即存在bubuko.com,布布扣,对所有bubuko.com,布布扣bubuko.com,布布扣,则bubuko.com,布布扣分别是原始问题和对偶问题的最优解的充分必要条件bubuko.com,布布扣满足下面的Karush-Kuhn-Tucker(KKT)条件:

bubuko.com,布布扣

关于KKT 条件的理解:前面三个条件是由解析函数的知识,对于各个变量的偏导数为0(这就解释了一开始为什么假设三个函数连续可微,如果不连续可微的话,这里的偏导数存不存在就不能保证),后面四个条件就是原始问题的约束条件以及拉格朗日乘子需要满足的约束。

特别注意bubuko.com,布布扣时,由KKT对偶互补条件可知:bubuko.com,布布扣,这个知识点会在 SVM 的推导中用到.



 

5. 总结

一句话,某些条件下,把原始的约束问题通过拉格朗日函数转化为无约束问题,如果原始问题求解棘手,在满足KKT的条件下用求解对偶问题来代替求解原始问题,使得问题求解更加容易。

简易解说拉格朗日对偶(Lagrange duality)

标签:style   blog   http   io   color   ar   sp   strong   on   

原文地址:http://www.cnblogs.com/90zeng/p/Lagrange_duality.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!