SVM的新理解

标签：

　　svm导出的原始问题然后利用KKT条件，为何还需要对偶空间？

　　一方面，实际上KKT条件怎么得到的？KKT条件的推导是：svm原始问题->极大极小问题（先算极小这步，但极小这步中α是有约束的，不好求）->满足某些条件（如凸的等）->极小极大问题（先算极大这步，α约束条件跑到第二步，极大这步没约束）->推导出KKT条件。

　　另一方面，如果没有对偶空间，对于非线性问题，第一步先映射到线性，第二步再使用最大间隔线性分类。这样的时间花费很大，于是，考虑用核函数。核函数的优点就是将这两步合在一起计算，这样使得时间花费变少。

　　核函数：K_Φ(x,x‘)=Φ(x)^TΦ(x‘)                                                                    (1)

　　计算简化，如对一个映射Φ2，K_Φ2(x,x‘)=...=1+(x^Tx‘)+(x^Tx‘)^{2                                       (2)}

　　很显然，(1)式中花费为O(d²)，(2)式中花费为O(d)，因为这里只需计算x^Tx‘，其中这里d只x的维数。

参考文献：台湾大学林轩田视频

SVM的新理解

标签：

原文地址：http://www.cnblogs.com/Wanggcong/p/4855878.html