http://www.site.uottawa.ca/~stan/csi5387/boost-tut-ppr.pdf Boosting is a general method for improving the accuracy of any given learning algorithm. Th ...
分类：
其他好文 时间：
2017-11-02 01:04:12
阅读次数：
187
提升(boosting) 方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性的提升算法AdaBoost; 然后通过训练误差分析探讨AdaBoost 为什么能够提高学习精度 ...
分类：
其他好文 时间：
2017-10-29 22:02:51
阅读次数：
188
转：http://www.cnblogs.com/liuwu265/p/4690486.html Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Boots ...
分类：
其他好文 时间：
2017-10-26 13:37:34
阅读次数：
148
没空读论文的悲剧，看了各种帖子感觉还是很难理解到这种方法背后思维的本质，虽然一两句话说思想简单，但是能透彻地理解感觉还是比较困难，看了半天帖子说得比较清晰的估计得结合这两个： https://en.wikipedia.org/wiki/Gradient_boosting http://www.jia ...
分类：
其他好文 时间：
2017-10-11 12:44:59
阅读次数：
102
1、集成学习概述 1.1 集成学习概述 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森 ...
分类：
编程语言 时间：
2017-10-10 22:01:01
阅读次数：
242
“Young man, in mathematics you don’t understand things. You just get used to them.” XGBoost(eXtreme Gradient Boosting)算法是Gradient Boosting算法的高效实现版本，因其 ...
分类：
编程语言 时间：
2017-10-08 22:43:49
阅读次数：
303
http://www.jianshu.com/p/005a4e6ac775 综述 GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的 ...
分类：
其他好文 时间：
2017-10-01 22:10:08
阅读次数：
288
在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可 ...
分类：
编程语言 时间：
2017-09-30 21:54:28
阅读次数：
362
Random Forest ?采用bagging思想，即利用bootstrap抽样，得到若干个数据集，每个数据集都训练一颗树。 构建决策树时，每次分类节点时，并不是考虑全部特征，而是从特征候选集中选取若干个特征用于计算。弱特征共有p个，一般选取m=sqrt(p)个特征。当可选特征数目很大时，选取一个 ...
分类：
其他好文 时间：
2017-09-17 00:38:31
阅读次数：
353
我们有时称判别模型求的是条件概率，生成模型求的是联合概率。 常见的判别模型有线性回归、对数回归、线性判别分析、支持向量机、boosting、条件随机场、神经网络等。 常见的生产模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、LDA、Restricted Boltzmann Machine等。 判 ...
分类：
其他好文 时间：
2017-09-16 23:21:30
阅读次数：
276
