1、介绍 ?决策树（decision tree）是一种有监督的机器学习算法，是一个分类算法。在给定训练集的条件下，生成一个自顶而下的决策树，树的根为起点，树的叶子为样本的分类，从根到叶子的路径就是一个样本进行分类的过程。 ?下图为一个决策树的例子，见http://zh.wikipedia.org/w...
分类：
其他好文 时间：
2014-06-25 13:13:16
阅读次数：
172
1、介绍 ?决策树（decision tree）是一种有监督的机器学习算法，是一个分类算法。在给定训练集的条件下，生成一个自顶而下的决策树，树的根为起点，树的叶子为样本的分类，从根到叶子的路径就是一个样本进行分类的过程。 ?下图为一个决策树的例子，见http://zh.wikipedia.org/w...
分类：
其他好文 时间：
2014-06-17 13:17:44
阅读次数：
281
决策树是对数据进行分类，以此达到预测的目的。该决策树方法先根据训练集数据形成决策树，如果该树不能对所有对象给出正确的分类，那么选择一些例外加入到训练集数据中，重复该过程一直到形成正确的决策集。决策树代表着决策集的树形结构。
决策树由决策结点、分支和叶子组成。决策树中最上面的结点为根结点，每个分支是一个新的决策结点，或者是树的叶子。每个决策结点代表一个问题或决策，通常对应于待分类对象的属性。每一个叶子结点代表一种可能的分类结果。沿决策树从上到下遍历的过程中，在每个结点都会遇到一个测试，对每个结点上问题的不同的...
分类：
其他好文 时间：
2014-06-08 14:55:35
阅读次数：
254
算法训练 集合运算
时间限制：1.0s 内存限制：512.0MB
问题描述
给出两个整数集合A、B，求出他们的交集、并集以及B在A中的余集。
输入格式
第一行为一个整数n，表示集合A中的元素个数。
第二行有n个互不相同的用空格隔开的整数，表示集合A中的元素。
第三行为一个整数m，表示集合B中的元素个数。
第四行有m个互不相...
分类：
其他好文 时间：
2014-06-05 00:27:08
阅读次数：
234
今天继续，下面是开始要生成正负例来训练分类器了，首先：// TRAIN DETECTOR ==========================================================
// Initialize structures
tld.imgsize = size(tld.source.im0.input);
//为fern准备的训练集
tld.X = ...
分类：
其他好文 时间：
2014-05-20 16:47:18
阅读次数：
474
分类中通常使用将多个弱分类器组合成强分类器进行分类的方法，统称为集成分类方法（Ensemble Method）。比较简单的如在Boosting之前出现Bagging的方法，首先从从整体样本集合中抽样采取不同的训练集训练弱分类器，然后使用多个弱分类器进行voting，最终的结果是分类器投票的优胜结果。这种简单的voting策略通常难以有很好的效果。直到后来的Boosting方法问世，组合弱分类器的威...
分类：
其他好文 时间：
2014-05-18 13:51:17
阅读次数：
312
训练集上训练的模型在多大程度上能够对新的实例预测出正确输出称为泛化（generalization）
对最好的泛化来说，我们应当使假设的复杂性和潜在数据的函数的复杂性相匹配。如果假设没有函数复杂，例如，当试图用直线拟合从三次项式抽取的数据时，称为欠拟合（underfitting）。在这种情况下，随着复...
分类：
其他好文 时间：
2014-05-17 21:15:53
阅读次数：
270
学习理论——VC维的定义以及一些例子
本文主要介绍一些学习理论上的东西。首先，我们得明确，从训练集上学习出来的分类器的最终目标是用于预测未知的样本，那么我们在训练的时候该用多少的样本才能使产生的分类器的效果尽可能的好呢？这些就是VC-理论要解决的问题。在介绍这个理论之前，我们得先介绍一个比较抽象的概...
分类：
其他好文 时间：
2014-05-06 00:41:46
阅读次数：
536
在K-fold cross validation 下 比较不同的K的选择对于参数选择（模型参数，CV意义下的估计的泛化误差）以及实际泛化误差的影响。更一般的问题，在实际模型选择问题中，选择几重交叉验证比较合适？
交叉验证的背景知识：
CV是用来验证模型假设（hypothesis）性能的一种统计分析方法，基本思想是在某种意义下将原始数据进行分组，一部分作为训练集，一部分作为验证集，使用训练...
分类：
其他好文 时间：
2014-04-30 22:14:38
阅读次数：
327
