码迷,mamicode.com
首页 > 编程语言 > 详细

机器学习技法-AdaBoost元算法

时间:2016-04-04 16:14:03      阅读:218      评论:0      收藏:0      [点我收藏+]

标签:

课程地址:https://class.coursera.org/ntumltwo-002/lecture

重要!重要!重要~

技术分享

一、Adaptive Boosting 的动机

通过组合多个弱分类器(hypothese),构建一个更强大的分类器(hypothese),从而达到“三个臭皮匠赛过诸葛亮”的效果。

例如实际中,可以通过简单的“横”“竖”组成比较复杂的模型。

技术分享

二、样本权重

技术分享

AdaBoost元算法中有个很重要的概念叫样本权重u。

学习算法A使用相同的样本集合D,每次训练后,D中每个样本的权重u会有所变化。由于样本权重u不同,所以每次都会生成不同g(t).

总的原则是“增大错误样本的权重,减小正确样本的权重”。数学描述如下:

 技术分享

三、AdaBoost元算法描述

初始化样本权重u,通多”弱算法“A、迭代更新样本权重u,生成不同的g(t),当错误率或者迭代次数满足要求后,通过alpha融合g(t),得到”强算法“G。

技术分享

四、单层决策树(Decision Stump)

通常在AdaBoost使用的“弱算法”为单层决策树。在二维空间上的物理意义是针对某些特征的“横、竖”线。

技术分享

五、AdaBoost的应用案例

对数据集迭代100次的AdaBoost算法分类结果,类似sine函数形状。

技术分享

 

 

机器学习技法-AdaBoost元算法

标签:

原文地址:http://www.cnblogs.com/wxquare/p/5352080.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!