Introduction决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不太理想。模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，如randomForest、Ad...
分类：
编程语言 时间：
2015-08-29 12:43:17
阅读次数：
427
第8章提升方法提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。基本思想：对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易...
分类：
其他好文 时间：
2015-08-28 19:41:26
阅读次数：
1528
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言： 本来上一章的结尾提到，准备写写线性分类的问题，文章都已经写得差不多了，但是突然...
分类：
其他好文 时间：
2015-08-17 11:54:05
阅读次数：
195
Booststrap aggregating （有些地方译作：引导聚集），也就是通常为大家所熟知的bagging。在维基上被定义为一种提升机器学习算法稳定性和准确性的元算法，常用于统计分类和回归中。而Boosting在维基中被定义为一种主要用来减少偏差（Bias）和同时也可降低方差（Variance...
分类：
其他好文 时间：
2015-08-16 21:16:33
阅读次数：
183
首先用一个形象的例子来说明AdaBoost的过程：1. 每次产生一个弱的分类器，把本轮错的样本增加权重丢入下一轮2. 下一轮对上一轮分错的样本再加重学习，获得另一个弱分类器经过T轮之后，学得了T个弱分类器，再将这T个弱分类器组合在一起，形成了一个强分类器。由于每一轮样本的权重都在变化，因此分类器学习...
分类：
其他好文 时间：
2015-08-01 18:35:00
阅读次数：
255
将分类器组合的过程中，将重点逐渐聚焦于那些被错分的样本点，这种做法背后的数学原因，就是这讲的内容。 在用bootstraping生成g的过程中，由于抽样对不同的g就生成了不同的u，接下来就是不断的调整u，使得Ein最小。 g越不同，通过...
分类：
其他好文 时间：
2015-07-28 18:08:53
阅读次数：
252
组合模型组合模型一般要比单个算法要好，下面简单的介绍下Bootstraping, Bagging, Boosting, AdaBoost, RandomForest 和Gradient boosting这些组合型算法.1.BootstrapingBootstraping: 名字来自成语“pull up by your own bootstraps”，意思就是依靠你自己的资源，称为自助法，它是一种有放...
分类：
编程语言 时间：
2015-07-24 22:39:31
阅读次数：
497
本文主要参考了OpenCV的官方文档
http://docs.opencv.org/modules/ml/doc/boosting.html
boosting算法是一个监督式机器学习算法，它解决的是一个二元分类问题。本文包括对算法思想的理解，不包含算法的数学推导。
目标检测就是用这个分类算法，把只含有目标的图片作为一类，不含有目标的作为另一类，然后训练分类器，进行检测的时候，输入...
分类：
编程语言 时间：
2015-07-24 10:46:24
阅读次数：
173
目标检测分为3个阶段
1. 样本创建
2. 训练分类器
3. 使用训练好的分类器进行目标检测
级联分类器
源地址http://www.opencv.org.cn/opencvdoc/2.3.2/html/modules/objdetect/doc/cascade_classification.html
基于Haar特征的用于目标检测的级联分类器
下...
分类：
其他好文 时间：
2015-07-24 10:45:38
阅读次数：
191
机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wh...
分类：
其他好文 时间：
2015-07-21 22:07:21
阅读次数：
152
