码迷,mamicode.com
首页 > 编程语言 > 详细

复习机器学习算法:Boosting

时间:2015-03-05 10:48:44      阅读:145      评论:0      收藏:0      [点我收藏+]

标签:boosting   机器学习   集成学习   

 

Boosting的思想是集成学习,把许多个弱分类器结合起来,构成一个强分类器。

 

首先输入原始的训练样本,得到一个弱分类器,可以知道它的正确率和错误率。计算该弱分类器的权重,如下:

技术分享

然后提高错误分类样本的权重,让后面的分类器focus它们,调整样本的权重:

如果原本分类正确:技术分享

如果样本分类错误:技术分享

 

把新的样本输入到后面学习,重复这个过程,得到许多个弱分类器,及其分类器的权重。

 

注意,Boosting算法中有两个权重,一个是分类器的权重,一个是样本的权重。

 

 

Boosting算法的优点:性能好,可以防止过拟合,可以综合多个分类器的优势。

缺点:对离群点比较敏感。

 

复习机器学习算法:Boosting

标签:boosting   机器学习   集成学习   

原文地址:http://blog.csdn.net/puqutogether/article/details/44079261

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!