统计学习方法概论： （一），统计学习 1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法 （二），监督学习重要概念 1，输入空间，特征向量空间，输出空间 （三），统计学习三要素 1，模型 决策函数模型： 条件概率模型： 2，策略 2.1 损失函数： 2.2 经验风险最小化 ...
分类：
其他好文 时间：
2017-06-30 23:53:33
阅读次数：
216
机器学习目标：（二分类） 经验风险： 过度拟合： 经验风险最小化： 结构风险最小化： 正则： 特点： 误差错误估计错误： 误差上界分析： R(g)的经验风险上界： 对错误分类的误差F定义(值域[0或1])： F和R的关系： 关于F的Hoe不等式： 意义： 统一上界： 与Hoe的差异： 增长函数： V ...
分类：
其他好文 时间：
2017-06-28 21:49:50
阅读次数：
594
摘要： 1.各种算法的推导 2.各种算法的比较（或优缺点） 3.经验风险最小化与结构风险最小化 4.特征选择方法 5.模型选择方法 6.特征工程 7.应用例子 内容： 1.各种算法的推导 2.各种算法的比较（或优缺点） http://blog.csdn.net/Bryan__/article/det ...
分类：
其他好文 时间：
2016-12-04 07:04:34
阅读次数：
128
统计学习三要素：模型、策略、算法 模型分为概率模型（由条件概率表示的模型）和非概率模型（决策函数） 策略包括1、损失函数和风险函数；2、经验风险最小化与结构风险最小化 算法：根据相应的策略求解最优解，即求解最优化问题。 生成模型与判别模型 分类、回归、标注问题 K-近邻算法（KNN） 算法原理 优点 ...
分类：
其他好文 时间：
2016-08-08 07:40:06
阅读次数：
206
本文所讲述的是怎么样去在实践中更好的应用机器学习算法，比如如下经验风险最小化问题： 当求解最优的 时，发现他的误差非常之大，接下来如何处理来使得当前的损失函数值尽可能的小呢？这里给出以下几个选项，下面介绍的是如何在一下这些应对策略中选择正确的方法来助力以上问题。 当模型的variance比较大时，可 ...
分类：
其他好文 时间：
2016-05-24 13:31:31
阅读次数：
323
问题的引入： 考虑一个典型的有监督机器学习问题，给定m个训练样本S={x(i),y(i)}，通过经验风险最小化来得到一组权值w，则现在对于整个训练集待优化目标函数为： 其中为单个训练样本（x(i),y(i)）的损失函数，单个样本的损失表示如下： 引入L2正则，即在损失函数中引入，那么最终的损失为： ...
分类：
其他好文 时间：
2016-05-13 08:47:25
阅读次数：
207
VC维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。
所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。
经验风险和实际风险之间的关系，注意引入这个原因是...
分类：
其他好文 时间：
2015-08-06 11:12:06
阅读次数：
165
原文：http://blog.csdn.net/keith0812/article/details/8901113“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”结构化风险结构化风险 = 经验风险 + 置信风险经验风险 =分类器在给定样本上的误差置信风险 = 分类器在未知...
分类：
其他好文 时间：
2015-07-08 10:47:41
阅读次数：
121
支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。 支持向...
分类：
其他好文 时间：
2014-11-20 20:17:37
阅读次数：
234
