vc理论（Vapnik–Chervonenkis theory ）是由 Vladimir Vapnik 和 Alexey Chervonenkis发明的。该理论试图从统计学的角度解释学习的过程。而VC维是VC理论中一个很重要的部分。 定义：对一个指示函数集,如果存在h个样本能够被函数集中的函数...
分类：
其他好文 时间：
2015-06-24 18:11:00
阅读次数：
156
（一）SVM背景资料简介支持向量机(Support Vector Machine)这是Cortes和Vapnik至1995首次提出，样本、非线性及高维模式识别中表现出很多特有的优势，并可以推广应用到函数拟合等其它机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原...
分类：
其他好文 时间：
2015-06-11 16:48:54
阅读次数：
1191
目录： 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Function Break Point与Shatter VC Bound VC dimension 深度学习与VC维 小结 参考文献 ...
分类：
其他好文 时间：
2015-04-21 13:14:49
阅读次数：
305
有关于VC维可以在很多机器学习的理论中见到，它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白，通过这段时间观看斯坦福的机器学习公开课及相关补充材料，又参考了一些网络上的资料（主要是这篇，不过个人感觉仍然没有抓住重点），重新思考了一下，终于理解了这个定义所要传达的思想。
先要介绍分散(shatter)的概念：对于一个给定集合S={x1, ... ,xd}，如果一个假设类H能够...
分类：
其他好文 时间：
2015-04-13 23:01:19
阅读次数：
197
本节课要点：VC维：模型选择算法 特征选择vc维：个人还是不太理解。个人的感觉就是为核函数做理论依据，低维线性不可分时，映射到高维就可分，那么映射到多高呢？我把可分理解为“打散”。参考的资料：http://www.cnblogs.com/boostable/p/iage_VC_dimension.h...
分类：
其他好文 时间：
2015-03-11 19:07:30
阅读次数：
138
引言
上一小节，我们引入了VC维的概念，用它来描述假设集合的表达能力。这一小节中，我们将从VC维的物理意义出发，进一步学习如何根据VC维传达的信息来选择模型和假设集合。
VC维的物理意义
如果我们将假设集合的数量|H|比作假设集合的自由度，那么VC维就是假设集合在做二元分类的有效的自由度，即这个假设空间能够产生多少Dichotomies的能力（VC维说的是，到什么时候，假设集合还...
分类：
其他好文 时间：
2014-12-18 20:46:50
阅读次数：
314
结构化风险最小、VC维到SVM的理解 ，理解SVM背后的数学原理！...
分类：
其他好文 时间：
2014-12-08 02:06:34
阅读次数：
292
在做svm的时候我们碰到了结构风险最小化的问题，结构风险等于经验风险+vc置信范围，其中的vc置信范围又跟样本的数量和模型的vc维有关，所以我们看一下什么是vc维
首先看一下vc维的定义：对一个指标函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H
例如有个样本，一个函数能够将这h个样本打散，打...
分类：
其他好文 时间：
2014-11-20 15:28:11
阅读次数：
167
（一）SVM的背景简单介绍支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出很多特有的优势，并可以推广应用到函数拟合等其它机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和...
分类：
其他好文 时间：
2014-10-07 15:20:53
阅读次数：
367
支持向量机(SupportVectorMachine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有..
分类：
其他好文 时间：
2014-10-01 01:07:40
阅读次数：
234
