码迷,mamicode.com
首页 > 其他好文 > 详细

机器学习基石第六讲:theory of generalization

时间:2016-04-29 19:46:40      阅读:175      评论:0      收藏:0      [点我收藏+]

标签:

博客已经迁移至Marcovaldo’s blog (http://marcovaldong.github.io/)

机器学习基石第六讲继续讨论“学习是否可行的问题”。

Restriction of Break Point

继续前面的讨论,我们看mH(N)是否会有一个很小的增长速度。回顾前面的四种成长函数及其break point。我们知道k是一个成长函数的break point,那比k大的值全是break point。

技术分享

mH(N)是一个hypothesis在N个数据点上可以产生的dichotomy的数量的最大值。现在假设一个hypothesis最小的break point是2,那我们能从中得到什么信息。

当N=1时,有定义得mH(N)=2,这没有问题;当N=2时,由定义得mH(N)<4(最大值可能是3)。那当N=3时呢?当hypothesis从三个数据点产生一个dichotomy(比如ooo)、两个dichotomy(比如ooo和xoo)、三个dichotomy(比如ooo、xoo、oxo)、四个dichotomy(ooo、oox、oxo、xoo)时,可以存在一种情况,三个数据点中任意两个都不会被shatter;而当hypothesis试图从三个数据点产生五个dichotomy时,无论怎样都会有两个点被shatter。

技术分享

技术分享

现在知道了break point k会在很大程度上限制mH(N),那我们猜测mH(N)会有一个跟k相关的最大值,而其又小于多项式,那我们就可以说mH(N)是一个多项式。如果证明了这个猜测,那我们就可以将mH(N)带进前面的Hoeffding’s inequality,进一步就可以证明学习是可行的。

技术分享

本小节测试:

技术分享

Bounding Function: Basic Cases

定义一个叫作bound function的函数B(N,k),表示当break point为k时mH(N)可能取到的最大值,且满足下图中的两点。现在我们的新目标是证明B(N,k)小于一个多项式。

技术分享

现在我们将B(N,k)的值写在一张表里面,那我们首先可以先将表的上三角先填好(因为当k>N时,B(N,k)=2N)。

技术分享

当k=N时,有B(N,k)=2N?1

技术分享

省下的那一部分表格,我们在下一小节继续填写。下面本小节测试:

技术分享

Bounding Function: Inductive Cases

我们观察表格,看看B(4,3)是不是和B(3,?)有什么关系呢?我们尝试着去求解出B(4,3)对应的一组dichotomy,如下图左侧所示。将这11个dichotomy重新排列一下,如下图右侧所示,前八个又分成了四对(每一对的x1x2x3标记相同,x4分别是圈圈和叉叉),后三个都是“单个”的。

技术分享

然后将B(4,3)写成

B(4,3)=11=2α+β

而其中的α+β则正好是(x1,x2,x3)的一组不会被shatter的dichotomy(橘色的四对里边每队拿出一个,加上下面的三个,这7个dichotomy不考虑x4)。所以肯定有
α+βB(3,3)

技术分享

然后我们只看橘色的部分(不考虑x4,那橘色的8个就变成了4个),我们说要保证三个点不被shatter,那我们还得保证其中任意两个点不被shatter,所以有

α<B(3,2)

现在得到了

技术分享

一直做这样的推导,我们就可以得到这样一个规律:

技术分享

然后我们就可以像上图那样填写表格,得到了每个bounding function的上限(或者上限的上限……知道这些就够了)。

技术分享

现在我们知道了B(N,k)有一个多项式上限,而B(N,k)又是mH(N)在break point存在时的上限。实际上,这里的“”可以改成“=”。前面介绍的那几个成长函数就有了上限,如下图。

技术分享

然后是本小节测试:

技术分享

A Pictorial Proof

之前我们尝试用mH(N)来代替原来Hoeffding’s inequality中的M,而实际上这样替换是有问题的。因为Ein的取值是有限的,而Eout的可能取值是无限的。这里用hypothesis在验证集上的犯错率Ein来代替Eout,下面给出了大概的推导过程。

技术分享

步骤1:

技术分享

步骤2:

技术分享

步骤3:

技术分享

这里实际上完成了Vapnik-Chervonekis(VC) bound的推导证明。当然,我也没听懂这三个步骤的推导,有需要的同学再去查其他资料吧。

现在我们可以说2D perceptrons的学习是可行的(但还没有证明任意维度的perceptron会发生什么事)。

技术分享

最后是本小节测试:

技术分享

机器学习基石第六讲:theory of generalization

标签:

原文地址:http://blog.csdn.net/majordong100/article/details/51228803

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!