码迷,mamicode.com
首页 > 编程语言 > 详细

随机森林 算法过程及分析

时间:2015-07-30 22:46:38      阅读:225      评论:0      收藏:0      [点我收藏+]

标签:

简单来说,随机森林就是Bagging+决策树的组合(此处一般使用CART树)。即由很多独立的决策树组成的一个森林,因为每棵树之间相互独立,故而在最终模型组合时,每棵树的权重相等,即通过投票的方式决定最终的分类结果。

随机森林算法主要过程:

1、样本集的选择。

  假设原始样本集总共有N个样例,则每轮从原始样本集中通过Bootstraping(有放回抽样)的方式抽取N个样例,得到一个大小为N的训练集。在原始样本集的抽取过程中,可能有被重复抽取的样例,也可能有一次都没有被抽到的样例。

  共进行k轮的抽取,则每轮抽取的训练集分别为T1,T2,…,Tk。

2、决策树的生成

  假如特征空间共有D个特征,则在每一轮生成决策树的过程中,从D个特征中随机选择其中的d个特征(d<D)组成一个新的特征集,通过使用新的特征集来生成决策树。

  在k轮中共生成k个决策树,由于这k个决策树在训练集的选择和特征的选择上都是随机的,因为这k个决策树之间是相互独立的。

3、模型的组合

  由于生成的k个决策树之间是相互独立的,每个决策树的重要性是相等的,因而在将它们进行组合时,无需考虑他们的权值,或者可以认为他们具有相同的权值。对于分类问题,最终的分类结果使用所有的决策树投票来确定最终分类结果;对于回归问题,使用所有决策时输出的均值来作为最终的输出结果。

4、模型的验证

  模型的验证需要验证集,而在此我们无需专门额外的获取验证集,只需要从原始样本集中选择没有被使用过的样例即可。

  在从原始样本中选择训练集时,存在部分样例一次都没有被选中过,在进行特征选择时,也可能存在部分特征未被使用的情况,我们只需将这些未被使用的数据拿来验证最终的模型即可。

5、总结

主要有几个方面的特性:

  1)有两个随机抽取过程:分别为从原始样本集中随机抽取训练集,和决策树的特征选择上随机抽取部分特征生成决策树。

  2)各决策树之间的相互独立性。因为相互独立,故而在决策树的生成过程可以并行进行,大大提高了算法的时间效率。

 

6、在线随机森林(online Random Forests)

  与普通的随机森林的区别就是树的不同,在线随机森林的每棵树都是在线随机决策树。

  由于研究的不够清楚就先不写了!

 

 [1] 李航,统计学习方法。

[2] BIGBIGBOAT, http://www.cnblogs.com/liqizhou/archive/2012/05/10/2494558.html

[3] Saffari etc. On-line Random Forests, iccv.

http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5457447

 

随机森林 算法过程及分析

标签:

原文地址:http://www.cnblogs.com/liuwu265/p/4690715.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!