1、 RF（随机森林）与GBDT之间的区别 相同点： 1)都是由多棵树组成的 2)最终的结果都是由多棵树一起决定 不同点： 1） 组成随机森林的树可以是分类树也可以是回归树，而GBDT只由回归树组成 2） 组成随机森林的树可是并行生成，而GBDT只能是串行生成 3） 随机森林的结果是多棵树表决决定， ...
分类：
编程语言 时间：
2018-07-29 10:48:26
阅读次数：
1994
本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient Boosting Tree）, GTB（Gradient Tree Boosting ）， GBRT ...
分类：
其他好文 时间：
2018-07-15 21:12:02
阅读次数：
267
一、XGBoost的优势 XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 1 正则化 标准GBDT 的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。 实际上，XGBoos ...
分类：
其他好文 时间：
2018-07-05 10:19:27
阅读次数：
245
1. scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。两者的参数类型完全相同，当然有些参数比如损失函数loss的可选择项并不相 ...
分类：
其他好文 时间：
2018-07-04 18:53:42
阅读次数：
266
Lightgbm：高效梯度提升决策树摘要：梯度提升决策树（GBDT）是一种流行的机器学习算法，并且有很多有效的实现，例如XGBoost和pGBRT。尽管在这些实现中已经采用了许多工程优化，但是当面对维度高，数据量大的问题时，其特征的效率和可扩展性仍然不尽人意。其中一个主要原因是对于每个特征，他们需要遍历所有的数据实例来估计所有可能的分割点的信息增益，这非常耗时。为了解决这个问题，我们提出了两种新颖
分类：
其他好文 时间：
2018-07-04 10:33:49
阅读次数：
349
过滤法：filter 4. 互信息：互信息值越大，说明该特征和输出值之间的相关性越大，越需要保留。在sklearn中，可以使用mutual_info_classif(分类)和mutual_info_regression(回归)来计算各个输入特征和输出值之间的互信息。 个人经验是，在没有什么思路的 时 ...
分类：
其他好文 时间：
2018-06-30 22:57:57
阅读次数：
200
1、RF 原理 用随机的方式建立一个森林，森林里面有很多的决策树，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 2、RF ...
分类：
其他好文 时间：
2018-06-06 15:44:13
阅读次数：
699
Sklearn的feature_selection模块中给出了其特征选择的方法，实际工作中选择特征的方式肯定不止这几种的，IV，GBDT等等都ok； 一、移除低方差特征(Removing features with low variance) API函数：sklearn.feature_select ...
分类：
其他好文 时间：
2018-05-14 19:55:20
阅读次数：
5964
分类回归树（Classification and Regression Tree，CART） 在构建回归树时，主要有两种不同的树： 回归树(Regression Tree)，其每个叶节点是单个值 模型树(Model Tree)，其每个叶节点是一个线性方程 回归树(Regression Tree)，其 ...
分类：
其他好文 时间：
2018-05-11 17:32:00
阅读次数：
152
整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 AdaBoost GBDT Xgboost 1.AdaBoost Boosting的本质实际上是一个加法模型，通过改变训练样本权重 ...
分类：
其他好文 时间：
2018-05-09 22:50:31
阅读次数：
234
