支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上。 置信风险： 分类器对 未知样本进行分类，得到的误差。经验风险： 训练好的分类器，对训练样本重新分类得到的误差。即样本误差结构风险：置信风险 + 经验风险结构风险最小化就是为了防止过拟合而提出来的策略，贝叶斯估计中最大后验概率 ...
分类：
其他好文 时间：
2020-03-14 11:12:47
阅读次数：
109
支持向量机 (support vector machine, SVM) 是建立在统计学习理论的 VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特点训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折中，以期获得最好的泛化能力。 支持向量机的 基 ...
分类：
其他好文 时间：
2019-11-07 19:35:20
阅读次数：
129
抄袭/参考资料 台湾大学 《机器学习基石》视频 "VC维的来龙去脉" 目录 1.Hoeffiding不等式 2.与学习的联系：单个假设 3.与学习的联系：多个假设 4.学习的可行性：两个核心条件 5.Growth Function 6.Break Point 和 Shatter 7.VC Bound ...
分类：
其他好文 时间：
2018-12-02 12:06:34
阅读次数：
292
前言: 经历过文本的特征提取，使用LibSvm工具包进行了测试，Svm算法的效果还是很好的。于是开始逐一的去了解SVM的原理。 SVM 是在建立在结构风险最小化和VC维理论的基础上。所以这篇只介绍关于SVM的理论基础。 目录： 文本分类学习（一）开篇 文本分类学习（二）文本表示 文本分类学习（三）特 ...
分类：
其他好文 时间：
2018-05-09 19:37:14
阅读次数：
242
一、经验风险最小化 1、有限假设类情形 对于Chernoff bound 不等式，最直观的解释就是利用高斯分布的图象。而且这个结论和中心极限定律没有关系，当m为任意值时Chernoff bound均成立，但是中心极限定律不一定成立。 随着 模型复杂度 （如多项式的次数、假设类的大小等）的增长， 训练 ...
分类：
其他好文 时间：
2018-04-03 14:29:26
阅读次数：
173
以下文章转载自http://blog.sina.com.cn/s/blog_7103b28a0102w9tr.html 如有侵权，请留言，立即删除。 1 VC维的描述和理解 给定一个集合S={x1,x2,...xd}，如果一个假设类H（hypothesis h ∈ H）能够实现集合S中所有元素的任意... ...
分类：
其他好文 时间：
2017-12-12 17:26:25
阅读次数：
190
1、特征选择 特征选择是一种及其重要的数据预处理方法。假设你需要处理一个监督学习问题，样本的特征数非常大（甚至），但是可能仅仅有少部分特征会和对结果产生影响。甚至是简单的线性分类，如果样本特征数超过了n，但假设函数的VC维确仍然是O(n)，那么，除非大大扩展训练集的数量，否则即会带来过拟合的问题。在 ...
分类：
其他好文 时间：
2017-10-10 23:18:17
阅读次数：
161
当N大于等于2，k大于等于3时， 易得：mH(N)被Nk-1给bound住。 VC维：最小断点值-1/H能shatter的最大k值。 这里的k指的是存在k个输入能被H给shatter，不是任意k个输入都能被H给shatter。 如：2维感知机能shatter平面上呈三角形排列的3个样本点，却shat ...
分类：
其他好文 时间：
2017-10-07 20:52:41
阅读次数：
192
泛化能力差和过拟合 引起过拟合的原因： 1）过度VC维（模型复杂度高） 2）噪声 3）有限的样本数量N 一个具体实验来看模型复杂度/确定性噪声、随机噪声、样本数量对过拟合的影响 关于确定性噪声 尽量避免过拟合： 1)从简单模型开始：降低模型复杂度 2)data cleaning/data pruni ...
分类：
其他好文 时间：
2017-09-27 00:42:46
阅读次数：
146
有错欢迎指正，别让小弟继续错下去。 我们在使用机器学习过程中，经常会overfiting，训练样本大的话，还好，不用考虑这个 问题。但是，当数据量小的时候，加上模型的结构还不想改变。比如，你想尝试使用vgg16 网络进行训练，对于vgg的VC维来说是比较大的，但是，你只有几百张图片，这样，的话就很 ...
分类：
其他好文 时间：
2017-09-17 20:59:47
阅读次数：
292
