标签：abc 训练 权重 准确率 直接 ati 速度 算法 分析
Ensemble learning
集成算法
目的：让机器学习效果更好，单个不行，群殴走起
Bagging：并行
训练多个分类器取平均
全称：bootstrap aggregation（说白了就是并行训练一堆分类器）
最典型的代表就是随机森林啦
随机：数据采样随机，特征选择随机
森林：很多个决策树并行放在一起
构造树模型：
由于二重随机性，使得每个树基本上都不会一样，最终的结果也会不一样
KNN模型
KNN就不太适合，因为很难去随机让泛化能力变强！
树模型：
相当于不用决策树先计算特征大当家的方法，用所有结果去比较谁来做大当家。
之所以要进行随机，是要保证泛化能力，如果树都一样，那就没意义了！
随机森林优势
它能够处理很高维度（feature(特征)很多）的数据，并且不用做特征选择
在训练完后，它能够给出哪些feature比较重要
容易做成并行化方法，速度比较快
可以进行可视化展示，便于分析
如何比较特征的重要性
例如确定B的重要性：
1，先用ABCD四个特征构造出的模型，计算错误率ERROR1
2，将B特征的数据改为无用值，也就是噪音值B‘。
3，用AB‘CD建立模型计算错误率ERROR2
比较ERROR1和ERROR2的值，如果差不多，就说明B不太重要，如果更改之后错误率比之前大许多的话，就说明B是很重要的。
树模型：
理论上越多的树效果会越好，但实际上基本超过一定数量就差不多上下浮动了
Boosting：串行
从弱学习器开始加强，通过加权来进行训练
（加入一棵树，要比原来强）
典型代表：AdaBoost，Xgboost
Adaboost会根据前一次的分类效果调整数据权重
解释：如果某一个数据在这次分错了，那么在下一次我就会给它更大的权重
最终的结果：每个分类器根据自身的准确性来确定各自的权重，再合体
Adaboost工作流程
每一次切一刀！
最终合在一起
弱分类器这就升级了！
Stacking模型
堆叠：很暴力，拿来一堆直接上（各种分类器都来了）
可以堆叠各种各样的分类器（KNN,SVM,RF等等）
分阶段：第一阶段得出各自结果，第二阶段再用前一阶段结果训练
为了刷结果，不择手段！
Stacking模型
堆叠在一起确实能使得准确率提升，但是速度是个问题
集成算法是竞赛与论文神器，当我们更关注于结果时不妨来试试！
标签：abc 训练 权重 准确率 直接 ati 速度 算法 分析
原文地址：https://www.cnblogs.com/Mjerry/p/9740308.html
