AdaBoost

标签：

AdaBoost

      假设你是一名患者，有某些症状。你选择咨询多位医生，而不是一位。你根据医生现在的诊断准确率，对每位医生的诊断赋予一个权重。然后对每个医生的诊断结果，乘与他的诊断准确率。最终得出最大值结果的诊断作为最终的结果。

在boosting方法中，权重赋予每个训练元组。迭代地学习k个分类器。学习得到分类器Mi之后，更新权重，使得其后的分类器M_i+1更加关注M_i误分类的训练元组。最中得到分类器M^* 组合每个个体分类器的表决，其中每个分类器投票的权重是其准确率的函数。

AdaBoost(Adaptive Boosting)是boost的其中一种方法。

       假设我们要分类的数据集有d个类别，给定的数据集D，有d个类标记的元组(X₁,y₁),(X₂,y₂),...,(X_n, yn)其中yi是元组Xi的类标记。开始的时候，AdaBoost对每个训练元组赋予相同的权重1/d。为了组合k个分类器，那么要进行k次迭代。在第i轮迭代中，从D中抽样选择d个训练元组构成训练集Di.这里采用的是有放回的抽样，所以可能同一元组会被选中多次。每个元组选择的机会由它的权重解决。从训练集Di中导出分类器Mi。然后使用D_i作为检验集计算M_i的误差。

AdaBoost

标签：

原文地址：http://www.cnblogs.com/aijianiula/p/4523816.html