标签:
课程地址:https://class.coursera.org/ntumltwo-002/lecture
重要!重要!重要~
一、Adaptive Boosting 的动机
通过组合多个弱分类器(hypothese),构建一个更强大的分类器(hypothese),从而达到“三个臭皮匠赛过诸葛亮”的效果。
例如实际中,可以通过简单的“横”“竖”组成比较复杂的模型。
二、样本权重
AdaBoost元算法中有个很重要的概念叫样本权重u。
学习算法A使用相同的样本集合D,每次训练后,D中每个样本的权重u会有所变化。由于样本权重u不同,所以每次都会生成不同g(t).
总的原则是“增大错误样本的权重,减小正确样本的权重”。数学描述如下:
三、AdaBoost元算法描述
初始化样本权重u,通多”弱算法“A、迭代更新样本权重u,生成不同的g(t),当错误率或者迭代次数满足要求后,通过alpha融合g(t),得到”强算法“G。
四、单层决策树(Decision Stump)
通常在AdaBoost使用的“弱算法”为单层决策树。在二维空间上的物理意义是针对某些特征的“横、竖”线。
五、AdaBoost的应用案例
对数据集迭代100次的AdaBoost算法分类结果,类似sine函数形状。
标签:
原文地址:http://www.cnblogs.com/wxquare/p/5352080.html