码迷,mamicode.com
首页 > 其他好文 > 详细

斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔

时间:2015-07-24 16:16:25      阅读:3441      评论:0      收藏:0      [点我收藏+]

标签:

    这一课主要是从如何判断一个机器学习分类算法里拟合的参数是最佳参数引出函数间隔和几何间隔的定义。

 

1、函数间隔

    假设假想函数技术分享技术分享,那么技术分享可以知道y=1;反之则y=0 。所以当技术分享,我们可以很确定的认为y=1;当技术分享,可以很确定地认为y=0。所以在分类算法中,我们在训练样本时得到这两个结果的时候,就可以知道选择的参数能很好的拟合数据,能很有自信地认为我们的分类器是符合数据事实的。因此我们数据可以引出函数间隔的定义。

    给定某一个数据案例技术分享,假想函数为技术分享(用(w,b)表示技术分享技术分享表示为b,技术分享表示为w,整个假想函数的结果表示为{-1,1}),我们可以定义基于参数(w,b)的这个数据案例技术分享的函数间隔为:

技术分享

因此可知,如果要得到一个值尽可能大的函数间隔,在技术分享时,需要技术分享为一个尽可能大的正数即为技术分享。在技术分享时,需要技术分享为一个尽可能大的负数即为技术分享。所以我们可以推出

当函数间隔大的时候,算法选择的参数能更好的模拟数据的现实能对测试数据集做出更好的推测。

    在给定的整个训练数据集技术分享上,函数间隔为:

技术分享

 

2、几何间隔

技术分享

图1

    假设假想函数技术分享,图1中的线表示技术分享,称为分隔超平面(用来将数据集分隔开来的直线,也叫决策边界)。图1中所有数据点都在二维平面上,所以此时分隔超平面为一条直线。但是如果所有数据点是在三维空间里,则分隔超平面为一个平面。如果数据在n维空间里,则分隔超平面为n-1维的超平面。

    可知数据点里决策边界越远,其最后的预测结果就越可信。图1中的A点离决策边界最远,说明可以非常确定的认为它属于y=1;而c点最靠近决策边界,只要稍微改变下决策边界就可以判断其属于y=0。因此,可知分隔超平面(决策边界)的选择取决于离分隔超平面最近的点与分隔超平面之间的间隔,这间隔就是几何间隔,支持向量就是离分隔超平面最近的点。几何间隔越大,说明分类器越可信。

技术分享

图2

    按图2可定义几何间隔,已知A为技术分享,假想函数为技术分享,可知w是分隔超平面的法向量,w/||w||为分隔超平面的单位法向量。点A可以代表y=1的情况,假设AB=技术分享 ,所以B(技术分享,0)。所以可以得到如下等式:

技术分享

所以求解可得:

技术分享

这个求解的只是y=1的情况,所以综合y=-1的情况可定义A点的几何间隔为:

技术分享

在给定的整个训练数据集技术分享上,几何间隔为

 技术分享

3、函数间隔和几何间隔的关系

函数间隔/||w|| =几何间隔

函数间隔会随着w和b的缩放而缩放,但是对于算法的参数选取没有意义。几何间隔不会随着w和b的缩放而缩放。

版权声明:本文为博主原创文章,未经博主允许不得转载。

斯坦福《机器学习》Lesson6感想———1、函数间隔和几何间隔

标签:

原文地址:http://blog.csdn.net/adeleamily/article/details/47041489

(0)
(1)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!