码迷,mamicode.com
首页 > 编程语言 > 详细

十大经典预测算法七---随机森林

时间:2019-01-06 11:55:32      阅读:355      评论:0      收藏:0      [点我收藏+]

标签:rap   抽样   http   好的   trap   而且   树模型   效果   size   

算法概述

  随机森林,顾名思义就是由很多决策树融合在一起的算法,它属于Bagging框架的一种算法。

  随机森林的“森林”,它的弱模型是由决策树算法训练的(CART算法),CART算法即能做回归也能做分类,“随机”是指构造的模型有一定的随机性。

技术分享图片

技术分享图片

  每一颗决策树模型的训练是通过自助采样法(Boostrap抽样)抽出来的,所以每一个子模型的训练样本并不是完全相同的,每一个子模型都存在一些样本不在该模型的训练集中,那些没有被该子模型抽中的样本可作为这个子模型的测试集。

  每一颗决策树模型在构建的时候并没有使用所有的特征变量,而是随机的从所有特征中抽取一个子集来训练模型,这样保证了子模型不但训练样本不完全一样,连特征变量也不完全一样,这样就很好的保证了多个子模型的随机性。

  所以随机森林算法的随机性主要体现在以下两个方面:

  1、子模型的训练样本是随机抽取的

  2、子模型的特征变量也是随机抽取的

  随机性的引入使得随机森林模型不容易陷入过拟合,具有很好的抗噪能力。而且随机性保证了各子模型间的多样性,子模型间差异越大,模型融合起来的效果会越好,如下图所示:

技术分享图片

 

 

 

 

十大经典预测算法七---随机森林

标签:rap   抽样   http   好的   trap   而且   树模型   效果   size   

原文地址:https://www.cnblogs.com/baoxuhong/p/10227481.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!