标签：
三种方法都是组合方法，组合方法是使用多个分类器进行投票【构造每个分类器的样本都是通过有放回抽样得到的】
1、Bagging（装袋）：k次抽样，训练k次，得到k个模型(分类器)，等权重投票
2、Adaboost(提升)：【在样本抽取上做文章，按权取样本，按权投票】
1）k次抽样：每个样本被抽到的机会由其权重决定（初始时样本权重一样）
2）训练k次：每次训练结束后要使用得到模型的错误率(<0.5)来修改样本权重，提高那些前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值。
3）得到k个模型：每个模型的权重由其错误率决定
4）加权投票【累计】。
3、RF(随机森林)【在分裂属性上做文章】：
1）k次抽样(有放回抽样)
2）训练k次：（独立训练，可以采用分布式计算）
每次训练都是得到一棵决策树，可以用任意一种（不剪枝的）决策树算法(ID3/C45/CART)，但是分裂节点使用的候选特征不再是全部特征。
Rorest-RI：随机选择F个特征作为节点划分候选特征。
Forest-RC：随机选择L个特征，并且从[-1,1]中随机选择系数，相加得到一个特征。由此法得到F个特征，使用CART进行分支
3）得到k个模型：k棵决策树
4）等权投票。
比较：
1、过拟合问题
1）Bagging：不存在过拟合：因为它每个分类器都是独立的，训练数据不一样(行抽样)
2）Adaboost：存在过拟合：因为它总是关注分错了的样本
3) RF：不存在过拟合：因为每个分类器都是独立的，不但训练数据不同(行抽样)，而且特征也不一样（列抽样，类似于领域专家）
2、性能比较
1）Adaboost比Bagging准确率高，但存在过拟合
2）RF准确率和Adaboost差不多，但更具鲁棒性，不存在过拟合，对F值敏感【通常取log2d+1,一般F=1的效果很好】
标签：
原文地址：http://www.cnblogs.com/xiangzhi/p/4626103.html
