码迷,mamicode.com
首页 > 编程语言 > 详细

Support Vector Machine(4):SMO算法

时间:2018-02-25 00:11:31      阅读:157      评论:0      收藏:0      [点我收藏+]

标签:pos   class   idt   port   margin   常量   图片   alt   情况   

经过上一篇的推导,我们的优化问题已经化为了如下等价形式:

技术分享图片

我们在不考虑任何约束条件的情况下去想这个minimize的问题,可以将其抽象为:

技术分享图片

SMO算法的思想是,每次迭代,只改变一个参数,而将n-1个参数固定住,循环往复只到达到我们期望。但在SVM的等式条件里,如果将n-1个参数都固定住了,也就相当于将n个参数都固定了,因为二者最终的加和为零,如下式:

技术分享图片

So,我们优化两个参数,而固定住n-2个,我们这里选择前两个参数做优化。內积写为了K的形式得出如下等价式,其中将常量略去:

技术分享图片

因为:

技术分享图片

为了简化说明,我们记:

技术分享图片

两侧同时乘以y1,得到:

技术分享图片

α1带回,即可得到α2的二项式:

技术分享图片

对其求导置零,并且将下式带入(记为old),

技术分享图片

可以得到:

技术分享图片

至此,我们将新的α2带回,即可求出α1

技术分享图片

循环往复,即可求得原始问题的最佳值。

Support Vector Machine(4):SMO算法

标签:pos   class   idt   port   margin   常量   图片   alt   情况   

原文地址:https://www.cnblogs.com/rhyswang/p/8467943.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!