http://dataunion.org/14581.html
分类：
其他好文 时间：
2015-12-05 17:37:20
阅读次数：
220
参考《机器学习导论》假设我们有一个数据集，包含N个点。这N个点可以用2N种方法标记为正例和负例。因此，N个数据点可以定义2N种不同的学习问题。如果对于这些问题中的任何一个，我们都能够找到一个假设h属于H，将正例和负例分开，那么我们就称H散列N个点。也就是说，可以用N个点定义的任何学习问题都能够用一个...
分类：
其他好文 时间：
2015-10-14 23:18:26
阅读次数：
513
SVM整理Last modified: 2015.9.21.算法总结支持向量机是Cortes和Vapnik于1995年首先提出的，它在解决小样本，非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM方法是建立在统计学习理论的VC维理论和结构风险最小原理基础...
分类：
其他好文 时间：
2015-09-03 23:26:41
阅读次数：
511
机器学习中非常重要的四个基础概念，总结自台大机器学习基石课程，解释机器为什么能够学习.........
分类：
其他好文 时间：
2015-08-16 18:26:00
阅读次数：
154
VC维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。
所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。
经验风险和实际风险之间的关系，注意引入这个原因是...
分类：
其他好文 时间：
2015-08-06 11:12:06
阅读次数：
165
原文：http://blog.csdn.net/keith0812/article/details/8901113“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”结构化风险结构化风险 = 经验风险 + 置信风险经验风险 =分类器在给定样本上的误差置信风险 = 分类器在未知...
分类：
其他好文 时间：
2015-07-08 10:47:41
阅读次数：
121
当模型复杂度上升时，可控制参数变多，VC dimension变大，当VC dimension过大时，虽然Ein很小，但是Eout很大，产生overfitting比喻：开车开太快 模型太复杂，VC维上升路况差 存在noise路况了解有限 N有限来自为知笔记(Wiz)
分类：
其他好文 时间：
2015-06-28 16:50:50
阅读次数：
120
对于d维的数据集，vc = d+1证明：$vc \geq d+1$ : 存在d+1个点可以被H shatter构造矩阵（注意加上$w_0$对应的$x_0$）注意x可逆，构造$w=X^{-1}y$，有$Xw=y-----sign(Xw)=y$$vc \leq d+1$ : 任意d+2个点不能被H sh...
分类：
其他好文 时间：
2015-06-28 16:50:43
阅读次数：
117
?由vc bound可以知道：$P(\exists h\in H~s.t~|E_{in}(h)-E_{out}(h)|>\epsilon)\\ \leq 4M_H(2N)exp(-\frac{1}{8}\epsilon^2N)\\ \leq 4(2N)^{k-1}exp(-\frac{1}{8}\e...
分类：
其他好文 时间：
2015-06-28 16:45:46
阅读次数：
114
