标签:src 作用 迭代 random 完成 不容易 分类 集中 多个
集成学习(ensemble learning)—bagging—RF
Bagging主要关注降低方差。(low variance)Boosting关注的主要是降低偏差。(low bias)
bagging是对许多强(甚至过强)的分类器求平均。在这里,每个单独的分类器的bias都是低的,平均之后bias依然低;而每个单独的分类器都强到可能产生overfitting的程度,也就是variance高,求平均的操作起到的作用就是降低这个variance。
boosting是把许多弱的分类器组合成一个强的分类器。弱的分类器bias高,而强的分类器bias低,所以说boosting起到了降低bias的作用。variance不是boosting的主要考虑因素。Boosting 则是迭代算法,每一次迭代都根据上一次迭代的预测结果对样本进行加权,所以随着迭代不断进行,误差会越来越小,所以模型的 bias 会不断降低。这种算法无法并行,例子比如Adaptive Boosting.
构建并组合多个学习器来完成学习任务,
同类型个体学习器(同质)——基学习器
不同累习惯个体学习器(异质)——个体学习器
原则:要获得比单一学习器更好的性能,个体学习器应该好而不同。即个体学习器应该具有一定的准确性,不能差于弱学习器,并且具有多样性,即学习器之间有差异。
根据个体学习器的生成方式,目前集成学习分为两大类:
bagging在原始数据集上有放回抽样,选出S个新集,训练S个新的基学习器。
原数据会有63.2%会出现在采样集中,可推导。
分类——简单投票,回归——简单平均
Bagging优点:
随机森林RF
bagging的变式,以决策树为基学习器。RF较决策树引入了 属性的随机选择
优点:随机可以采用到 均匀分布、高斯分布、置换
RF不再考虑全部属性,而是一个属性子集,计算开销小,训练效率高
随机的引入,不容易过拟合,抗噪声强
离散连续都可处理
基于oob误分类率和基于Gini系数的变化,可以得到变量的重要性(泛化能力退化程度,OOB用来验证过程推导——>笔记)
缺点:噪声较大时依然会过拟合
标签:src 作用 迭代 random 完成 不容易 分类 集中 多个
原文地址:https://www.cnblogs.com/A-lam/p/12862756.html