码迷,mamicode.com
首页 > 其他好文 > 详细

Adaboost

时间:2014-12-24 06:20:54      阅读:183      评论:0      收藏:0      [点我收藏+]

标签:

一、集成方法:

1、什么是集成方法?

    集成方法,又称元算法,是对算法的一种集成。集成方法可以有多种形式,可以使对不同算法的集成,也可以是同一算法在不同设置下的集成

2、为什么采用集成方法?

   最通俗的理解,“三个臭皮匠,顶个诸葛亮”,对于分类,综合多个分类器的分类意见进行分类

3、弱分类器与强分类器

二、boosting

   1、boosting是元算法中的一种

   2、有何特点?

   (1)所使用的多个分类器的类型是一致的

   (2)每个分类器的权重不相等,权重代表的是其对应分类器在上一轮迭代中的成功度

   (3)集中关注被已有分类器错分的那些数据来获得新的分类器

  3、AdaBoost-Boosting的一种

       AdaBoost:adaptive boosting,自适应boosting

三、AdaBoost

     1、AdaBoost算法流程?

(1)训练数据集中的每个样本赋予同等权重

(2)弱分类器进行训练

(3)调整每个训练样本的权重:分类错误的样本权重增大,分类正确的样本权重减小

        调整每个分类器的权重:错误率大则权重小

(4)重复(2)-(3),直到错误率降为0或者弱分类器的数目达到用户的指定值

2、弱分类器

任何一个分类算法都可以作为弱分类器,但是简单分类器的效果更好,本文采用单层决策树

单层决策树:仅仅基于单个特征进行决策,只有一次分裂过程

四、实现

 

Adaboost

标签:

原文地址:http://www.cnblogs.com/naonaoling/p/4181486.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!