Machine Learning—AdaBoost algorithm
1、基本算法思路
就是"三个臭皮匠顶个诸葛亮"。将若干个弱分类器(base learner)组合起来，变成一个强分类器。大多数boosting方法都是通过不断改变训练数据的概率(权值)分布，来迭代训练弱学习器的。所以总结而言，boosting需要回答2个问题:
1、如何改变训练数据的概率(权值)分布?
提高哪些...
分类：
其他好文 时间：
2014-08-22 16:20:09
阅读次数：
167
首先来说明一下bootstraps：可以把它认为是一种有放回的抽样方法。bagging：boostraps aggregating（汇总）boosting：Adaboot （Adaptive Boosting）提示方法提升（boosting）：在分类问题中，通过改变训练样本的权重，学习多个分类器，并...
分类：
其他好文 时间：
2014-08-11 23:55:33
阅读次数：
422
研读：AirBag Boosting Smartphone Resistance to Malware Infection，该文章发表在NDSS 2014，作者含360首席科学家...
分类：
其他好文 时间：
2014-06-24 20:54:02
阅读次数：
250
写在最前：本系列主要是在阅读 Mehryar Mohri 等的最新书籍《Foundations of Machine Learning》以及 Schapire 和 Freund 的 《Boosting: Foundations and Algorithms》过程中所做的笔记。主要讨论三个部分的内容。...
分类：
其他好文 时间：
2014-06-16 23:53:35
阅读次数：
588
GML AdaBoost Matlab Toolbox是一款非常优秀的AdaBoost工具箱，内部实现了Real AdaBoost, Gentle AdaBoost和Modest AdaBoost三种方法。AdaBoost的训练和分类的结构都是相似的，可以参考前一篇《Boosting》，只简介一下GML。GML内部弱分类器使用的CART决策树。决策树的叶子表示决策，内部每个分支都是决策过程。从根部...
分类：
其他好文 时间：
2014-05-24 17:56:00
阅读次数：
375
引自http://blog.csdn.net/xianlingmao/article/details/7712217Jackknife，Bootstraping,
bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语，...
分类中通常使用将多个弱分类器组合成强分类器进行分类的方法，统称为集成分类方法（Ensemble Method）。比较简单的如在Boosting之前出现Bagging的方法，首先从从整体样本集合中抽样采取不同的训练集训练弱分类器，然后使用多个弱分类器进行voting，最终的结果是分类器投票的优胜结果。这种简单的voting策略通常难以有很好的效果。直到后来的Boosting方法问世，组合弱分类器的威...
分类：
其他好文 时间：
2014-05-18 13:51:17
阅读次数：
312
阿弥陀佛，好久没写文章，实在是受不了了，特来填坑，最近实习了(ting)解(shuo)到(le)很多工业界常用的算法，诸如GBDT,CRF,topic model的一些算法等，也看了不少东西，有时间可以详细写一下，而至于实现那真的是没时间没心情再做了，等回学校了再说吧。今天我们要说的就是GBDT(Gradient Boosting Decision Tree)...
分类：
其他好文 时间：
2014-05-03 16:14:46
阅读次数：
904
