码迷,mamicode.com
首页 > 其他好文 > 详细

10-2[RF] OOB validation

时间:2015-01-29 20:57:03      阅读:234      评论:0      收藏:0      [点我收藏+]

标签:

          main idea:

在使用bootstrap生成gi的训练集时,会有一部分数据没有被选中,使用这一部分数据(OOB)进行validation。

 

1.数据没有被选中的概率

假设训练集大小为N,使用bootstrap生成N’(假设N’=N)条数据用于gi的训练(有放回抽样),则某条特定数据没有被选中的概率为:

      技术分享

当N很大(趋于无穷)时,大约有1/3的数据没有被选中:

      技术分享

 

称这些没有被选中的数据为OOB(out of bag)

2.使用OOB进行validation

  a. 在每一条记录上做validation

     技术分享

     黄色标注数据(Xn,yn),由于没有被用于训练g2,g3,gT,所以可以用于做这些小g的validation

     技术分享

b. 汇总

     技术分享 

    

10-2[RF] OOB validation

标签:

原文地址:http://www.cnblogs.com/porco/p/4260857.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!