VC维在有限的训练样本情况下，当样本数 n 固定时。此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。 所谓的结构风险最小化就是在保证分类精度（经验风险）的同一时候，减少学习机器的 VC 维，能够使学习机器在整个样本集上的期望 ...
分类：
其他好文 时间：
2017-08-16 23:13:58
阅读次数：
188
SVM： 1. 线性与非线性 核函数； 2. 与神经网络关系 置信区间结构； 3. 训练方法； 4.SVM light，LS-SVM； 5. VC维 u-SVC 与 c-SVC 区别？ 除参数不同外，两者基本一样。 c-SVC c∈(0,∞) u-SVC c∈[0,1] c是一个很好的特征，它与支持 ...
分类：
系统相关 时间：
2017-08-07 10:15:13
阅读次数：
230
介绍神经网络的基本概念以及Backprop的推导。 输入为x, 首先对x做一个线性变换到s，然后对s做（通常是非线性的）变换，作为下一层的输入。如果对s也是线性的，那整个网络就是线性的，就不需要那么多层了。 对 s 经常使用的一个是双曲余弦的变换tanh 在离原点比较远的地方，它比较像阶梯函数，在接 ...
分类：
Web程序 时间：
2017-06-21 14:02:51
阅读次数：
282
为了引出VC维做了很长的铺垫。。VC维：用来描述假设空间的表达能力。 第四节讲到对有限的假设空间，只要N足够大，不管A如何选g，训练数据如何选取，g的训练错误率和真实的错误率都很接近。 现在先解决无限假设空间的问题。 希望找到一个 m_H 来替代无限大的M。 系数M的来源是因为对bad data的概 ...
分类：
其他好文 时间：
2017-06-20 16:22:32
阅读次数：
227
1、课程主要内容 上节课中学习了VC维的相关只是，在hypothesis set的VC维有限，且输入数据N够大，并可以找到一个足够小的Ein，那么学习就是可能的。 但是在实际的情况中，数据来源不都是理想的，必然存在着错误和噪声，本次课程讨论在错误和噪声存在的情况下，机器为什么还可以学习？ 在噪声和错 ...
分类：
其他好文 时间：
2017-02-13 23:58:09
阅读次数：
342
1、主要内容 沿着之前学些机器学习基石课程中学习到的工具进行分析，该工具主要就是vc维，沿着特征转换这一目标进行探讨： (1)、当数据的特征的数量很大时，如何进行特征转换？支撑向量机 (2)、能不能找到具有预测性的特征然后联合起来？ (3)、如何发现隐藏的具有预测意义的特征？原先的神经网络到现在的深 ...
分类：
其他好文 时间：
2017-02-04 21:18:20
阅读次数：
237
1、主要内容 上节课讲述了vc bound，表明了在去break point为最小的break point时，mH(N)的上限是vc bound是一个多项式级别的上限； vc维定义为当输入数据为N个点时，有一个假设空间H可以准确无误的将这N个点所有的分类情况都覆盖，那么假设空间的H的vc维就是N，当 ...
分类：
其他好文 时间：
2017-02-03 15:28:48
阅读次数：
169
1 VC维的定义 VC维其实就是第一个break point的之前的样本容量。标准定义是：对一个假设空间，如果存在N个样本能够被假设空间中的h按所有可能的2的N次方种形式分开，则称该假设空间能够把N个样本打散；假设空间的VC维就是它能打散的最大样本数目N。若对任意数目的样本都有函数能将它们打散，则函 ...
分类：
其他好文 时间：
2017-01-03 22:04:00
阅读次数：
196
一、定义： 有n个训练样本Zn={zi(xi,yi), i=1,2,...,n},定义N(Zn)为函数集中的函数能对样本分类的数目。 解释：xi 代表特征向量如d维特征向量，yi代表一个标记如0或1, 因此zi就是对一个特征的标记，Zn中有n个样本，可能的标记方式2n种，一种标记方式就生成一种样本集 ...
分类：
其他好文 时间：
2016-11-29 21:52:20
阅读次数：
895
原始来源已不可考，作者名为：火光摇曳。本文仅做学习之用，如有侵权，请联系我。 本文来源：http://www.thebigdata.cn/JiShuBoKe/14027.html 目录： 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Eff ...
分类：
其他好文 时间：
2016-11-12 19:20:32
阅读次数：
195
