Bagging 和 Boosting 都是一种将几个弱分类器（可以理解为分类或者回归能力不好的分类器）按照一定规则组合在一起从而变成一个强分类器。但二者的组合方式有所区别。 一、Bagging Bagging的思想很简单，我选取一堆弱分类器用于分类，然后最终结果投票决定，哪个票数多就属于哪一...
分类：
其他好文 时间：
2015-03-11 10:41:39
阅读次数：
169
Boosting的思想是集成学习，把许多个弱分类器结合起来，构成一个强分类器。
首先输入原始的训练样本，得到一个弱分类器，可以知道它的正确率和错误率。计算该弱分类器的权重，如下：
然后提高错误分类样本的权重，让后面的分类器focus它们，调整样本的权重：
如果原本分类正确：
如果样本分类错误：
把新的样本输入到后面学习，重复这个过程，得到许多个弱分类器，及其分类器...
分类：
编程语言 时间：
2015-03-05 10:48:44
阅读次数：
145
①起源：Boosting算法Boosting算法的目的是每次基于全部数据集，通过使用同一种分类器不同的抽取参数方法（如决策树，每次都可以抽取不同的特征维度来剖分数据集）训练一些不同弱分类器（单次分类错误率>0.5），然后将其组合起来，综合评估（默认认为每个分类器权重等价）进行分类。AdaBoost算...
分类：
其他好文 时间：
2015-02-22 06:44:38
阅读次数：
174
一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了；
二、GB其实是一种理念，他并不是这一个具体的算法，意思是说沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器；注意，这里的梯度下降法是在函数空间中通过梯度下降法寻找使得LOSS最小的一个函数，区别于传统的梯度下降法选择一个方向；那么问题就来...
分类：
其他好文 时间：
2015-02-10 18:48:53
阅读次数：
410
cvCreateCARTClassifier函数在haartraining程序中用于创建CART树状弱分类器，但一般只采用桩分类器，因为其训练过程实在是太慢了。之前自己调试过代码，要等差不多10分钟（2000正样本、2000负样本）才能训练完一个3节点的弱分类器，当然，总体的树状弱分类器的数目可能也会减少2/3，这个还没有仔细训练过。之所以将此函数拿出来说说，主要是因为之前在网上找不到专门针对这个函数的说明，同时，基于CART树的弱分类器，也具有一定的借鉴意义。...
分类：
其他好文 时间：
2015-02-02 23:21:45
阅读次数：
348
之前介绍了haartraining程序中的cvCreateMTStumpClassifier函数，这个函数的功能是计算最优弱分类器，这篇文章介绍一下自己对haartraining中关于强分类器计算的一些理解，也就是程序中的icvCreateCARTStageClassifier函数。...
分类：
其他好文 时间：
2015-01-04 23:11:07
阅读次数：
686
cvCreateMTStumpClassifier函数出自opencv中的haartraining程序，在adaboost（cvCreateTreeCascadeClassifier）的强分类器（icvCreateCARTStageClassifier）中被两次调用，该函数用于寻找最优弱分类器，或者说成计算最优haar特征。功能很明确，但是大家都知道的，opencv的代码绝大部分写的让人真心看不懂，这个函数算是haartraining中比较难以看懂的函数，局部变量达到20个之多，童鞋我也是不甘心，不甘心被这...
分类：
其他好文 时间：
2014-12-31 16:25:32
阅读次数：
255
一、集成方法：1、什么是集成方法？ 集成方法，又称元算法，是对算法的一种集成。集成方法可以有多种形式，可以使对不同算法的集成，也可以是同一算法在不同设置下的集成2、为什么采用集成方法？ 最通俗的理解，“三个臭皮匠，顶个诸葛亮”，对于分类，综合多个分类器的分类意见进行分类3、弱分类器与强分类器二、b....
分类：
其他好文 时间：
2014-12-24 06:20:54
阅读次数：
183
AdaBoost算法有AdaBoost.M1和AdaBoost.M2两种算法，AdaBoost.M1是我们通常所说的Discrete AdaBoost，而AdaBoost.M2是M1的泛化形式。关于AdaBoost算法的一个结论是:当弱分类器算法使用简单的分类方法时,boosting的效果明显地统一地比bagging要好.当弱分类器算法使用C4.5时,boosting比bagging较好,但是没有前者明显。后来又有学者提出了解决多标签问题的AdaBoost.MH和AdaBoost.MR算法,其中AdaBoo...
分类：
编程语言 时间：
2014-12-04 14:02:17
阅读次数：
342
AdaBoost算法（AdaptiveBoost）的核心思想是：如果一个弱分类器的分类效果不好，那么就构建多个弱分类器，综合考虑它们的分类结果和权重来决定最终的分类结果。很多人认为AdaBoost是监督学习中最强大的两种算法之一（另一个是支持向量机SVM）。AdaBoost的训练过程如下：为每个..
分类：
编程语言 时间：
2014-11-06 15:09:33
阅读次数：
225
