码迷,mamicode.com
首页 > 其他好文 > 详细

斯坦福公开课《机器学习》第五章SVM笔记

时间:2016-05-13 02:42:59      阅读:169      评论:0      收藏:0      [点我收藏+]

标签:

技术分享为函数间隔的定义




考虑训练样本里r hat的最小值,对应的是训练样本里函数间隔的最坏情形:
技术分享几何间隔:
技术分享

= r hat / || w ||



最优间隔分类器的定义:
技术分享
拉格朗日对偶性:略。

若要dual*=primary*=L(w*, α*, β*),w*, α*,β*满足KKT dual complementarity condition(KKT对偶互补条件):
技术分享
优化间隔分类器:
考虑此分类器的定义,令:
技术分享
则可得拉格朗日优化问题:
技术分享
对w, b求偏导数如下:
技术分享
技术分享
技术分享此外又有:
技术分享
进而得到:
技术分享
核函数:(未理解明白)
用核函数代替上式中的内积,将变量映射到更高维空间。这样计算内积就好,而不必把向量装入内存(事实上也装不下)。
技术分享
此式对应的 映射 为:
技术分享
高斯核:
技术分享如何判断一个核是valid的:
技术分享
即:K是一个valid的核     等价于     它所对应的核矩阵是对称半正定矩阵

在数据是非线性可分的情况下:
技术分享
称为     L1 norm soft margin SVM。是一个凸优化问题。
它允许间隔小于1,即允许有错误的分类。

SMO算法:

坐标上升算法:
技术分享
这个算法的迭代次数比较多,但在某时某情况下如果W(a1,,,am)中的某个参数求最优值的代价非常小,那么内层循环将会非常快。

SMO:
技术分享
如果像svm那样只对一个α求解,同时固定其他的α。由等式(19)得到
技术分享
即α也就固定了。SMO同时对两个α求解,随即得到:
技术分享
此式是一个一元二次函数,易得到α1。

Andrew Ng让在John Platt的论文里寻找下面两个问题的答案:
技术分享
SMO算法:
由等式技术分享
可知问题转化为求α的问题,如下:
技术分享
此等式中各个参数的求解如下:
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享
技术分享


ps:不知不觉好久不写笔记。





















斯坦福公开课《机器学习》第五章SVM笔记

标签:

原文地址:http://blog.csdn.net/riverflowrand/article/details/51344223

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!