标签：
SMO要点总结：
SMO使用坐标上升的方法，求解SVM的最优解。和原始坐标上升方法的不同点在于：
1.
由于SVM的限制条件
，所以不能只使用一个坐标，改为更新两个
2.
采用启发式方法，找到每次更新的坐标，而不是按顺序来
SMO的终止条件即，所有参数都符合KKT条件：
对应在margin以外的点
对应在margin上的点
对应在margin内的点
其中
所以在伪代码中，使用如下代码判断，是否违反KKT条件
对于
的点，应该有
，即
，若起小于0，则判定为违反KKT条件；同样，对于
的点，判定大于0为违反KKT条件
当所有点都没有违反KKT条件时，说明已经达到最优解
当选定第一个更新坐标
后，根据以下规则选择
1.
首先在unbound（
）点中，选择使
最大的
2.
若1失败，按随机顺序从unbound（
）点中开始尝试
3.
若2失败，随机顺序从所有点尝试
更新
,
时，可以计算得到
的解析解，按以下公式更新：
由于a取值范围有限定，所以需要判断解析解是否在范围内
y1,y2异号
y1，y2同号
当新的a超过范围时，需要替换成对应的上下界
注意：
当是个大于0的数字，用以上公式更新$\alpha_2$;
当等于0时，原式变成一元一次式，在L或H处去的最小（
>0时，函数单调降，取H，否则取L）；
当小于0时，原式轮廓类似与$y=-x^2+1$，L和H谁离中间线(即
)远，谁取得最小値
得到新的a2后，计算a1
更新玩a后，接着需要更新
b
如果
为unbound，更新b为
如果
为unbound，更新b为
如果两者都为bound
最后更新每个点上的错误（考虑到只变化了
）
标签：
原文地址：http://www.cnblogs.com/porco/p/4612062.html
