串行生成，只适用二分类（做回归用别的更新公式？） 工作机制： 先从初始训练集中学习一个基学习器 根据基学习器的表现对训练样本分布进行调整，做错的提高权重，对的降低权重 基于调整后的样本分布来训练下一个基学习器 如此反复，直到基学习器数目达到T，最终将这T个基学习器进行加权结合 对训练样本分布调整，主 ...
分类：
其他好文 时间：
2020-05-10 14:50:40
阅读次数：
54
bagging(随机森林)和boosting(关注偏差，adaboost,xgboost,GBDT) ...
分类：
其他好文 时间：
2020-05-06 11:55:00
阅读次数：
64
集成学习 集成学习分为bagging和boosting两类，典型的bagging有随机森林等，典型的boosting有gbdt和adaboost等(xgboost和lightGBM都是基于gbdt的高效实现，在我的另外两篇博文中都有介绍)。 bagging与boosting的区别如下所述： 共同点： ...
分类：
其他好文 时间：
2020-04-21 15:17:19
阅读次数：
90
1. 回顾Boosting提升算法 AdaBoost是典型的Boosting算法，属于Boosting家族的一员。在说AdaBoost之前，先说说Boosting提升算法。Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要 ...
分类：
编程语言 时间：
2020-04-10 00:04:46
阅读次数：
216
随机森林 随机森林是集成算法的一种，是将多个决策树集成在一起通过对每棵树的结果进行表决进而组成一个强分类器的方法，可以处理分类问题及回归问题。 随机森林的构建过程： 从样本集中用采样选出N个样本； 从所有属性中随机选择M个属性，选择出最佳分割属性作为节点创建决策树； 重复执行以上两步，重复次数即为决 ...
分类：
其他好文 时间：
2020-03-15 22:04:47
阅读次数：
52
随机森林算法： 随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别 在Bagging策略的基础上进行修改后的一种算法 从样本集中用Bootstrap采样选出n个样本； 从所有属性中随机选择K个属性，选择出最佳分割属性作为节点创建决策树； 重复以上两步m次， ...
分类：
其他好文 时间：
2020-03-15 22:03:55
阅读次数：
106
随机森林和adaboost都是集成学习比较经典的模型 随机森林和adaboost所使用的思想不同 随机森林运用bagging的思想，相当于并行，利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候决定测试样本的最终类别 adaboost运用boosting的思想，是一种迭代算法，针对同一 ...
分类：
其他好文 时间：
2020-03-15 20:30:34
阅读次数：
91
1.随机森林： 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。在Bagging策略的基础上进行修改后的一种算法。 2.随机森林的特点 从样本集中用Bootstrap采样选出n个样本； 从所有属性中随机选择K个属性，选择出最佳分割属性作为节点创建 ...
分类：
其他好文 时间：
2020-03-15 20:26:44
阅读次数：
153
不同的分类算法各有优缺点，可以将不同的分类器组合起来 这种组合被称为集成方法（ensemble method）或者元算法（meta algorithm） 使用集成方法有多种形式 ○?可以是不同算法的集成 ○?可以是同一算法在不同设置下的集成 ○?可以是数据集不同部分分配给不同 ...
分类：
编程语言 时间：
2020-02-29 20:45:23
阅读次数：
100
目录 简述集成学习 Boosting介绍 AdaBoost算法 GBDT算法 总结 一、简述集成学习 上一篇博文已经介绍了：集成算法是由多个弱学习器组成的算法，根据个体学习器的生成方式不同，集成算法分成两类： 个体学习器之间不存在强依赖关系，可以并行化生成每个个体学习器，这一类的代表是Bagging ...
分类：
其他好文 时间：
2020-02-24 00:10:39
阅读次数：
98
