核函数:(未理解明白)
用核函数代替上式中的内积,将变量映射到更高维空间。这样计算内积就好,而不必把向量装入内存(事实上也装不下)。
此式对应的 映射 为:
高斯核:
如何判断一个核是valid的:
即:K是一个valid的核 等价于 它所对应的核矩阵是对称半正定矩阵
在数据是非线性可分的情况下:
称为 L1 norm soft margin SVM。是一个凸优化问题。
它允许间隔小于1,即允许有错误的分类。
SMO算法:
坐标上升算法:
这个算法的迭代次数比较多,但在某时某情况下如果W(a1,,,am)中的某个参数求最优值的代价非常小,那么内层循环将会非常快。
SMO:
如果像svm那样只对一个α求解,同时固定其他的α。由等式(19)得到
即α也就固定了。SMO同时对两个α求解,随即得到:
此式是一个一元二次函数,易得到α1。
Andrew Ng让在John Platt的论文里寻找下面两个问题的答案:
SMO算法:
由等式
可知问题转化为求α的问题,如下:
此等式中各个参数的求解如下: