XGBoost 相比于GBDT 做了两方面的优化： 一是算法本身的优化：在算法的弱学习器模型选择上，对比GBDT只支持决策树，XGBoost 还可以直接很多其他的弱学习器。 在算法的损失函数上，除了本身的损失，XGBoost 还加上了正则化部分，可以防止过拟合，泛化能力更强。 在计算方式上，GBDT... ...
分类：
编程语言 时间：
2020-05-03 17:02:08
阅读次数：
100
1.简介 gbdt全称梯度提升决策树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非 ...
分类：
编程语言 时间：
2020-05-01 00:57:50
阅读次数：
67
image.png image.png image.png image.png image.png image.png image.png image.png image.png GBDT 调参 image.png image.png image.png image.png image.png im ...
分类：
其他好文 时间：
2020-04-28 15:05:02
阅读次数：
72
集成学习 集成学习分为bagging和boosting两类，典型的bagging有随机森林等，典型的boosting有gbdt和adaboost等(xgboost和lightGBM都是基于gbdt的高效实现，在我的另外两篇博文中都有介绍)。 bagging与boosting的区别如下所述： 共同点： ...
分类：
其他好文 时间：
2020-04-21 15:17:19
阅读次数：
90
梯度提升树(GBDT)的全称是Gradient Boosting Decision Tree。GBDT还有很多的简称，例如GBT(Gradient Boosting Tree), GTB(Gradient Tree Boosting )，GBRT(Gradient Boosting Regressi ...
分类：
编程语言 时间：
2020-04-13 00:29:22
阅读次数：
47
一.Stacking思想简介1.Stacking的思想是一种有层次的融合模型，比如我们将用不同特征训练出来的三个GBDT模型进行融合时，我们会将三个GBDT作为基层模型，在其上在训练一个次学习器（通常为线性模型LR）,用于组织利用基学习器的答案，也就是将基层模型的答案作为输入，让次学习器学习组织给基 ...
分类：
其他好文 时间：
2020-04-08 22:30:38
阅读次数：
97
在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。 1. scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassifie ...
分类：
其他好文 时间：
2020-03-31 23:06:06
阅读次数：
105
4， GBDT和随机森林的相同点： 1、都是由多棵树组成2、最终的结果都是由多棵树一起决定 5，GBDT和随机森林的不同点： 1、组成随机森林的树可以是分类树，也可以是回归树；而GBDT只由回归树组成2、组成随机森林的树可以并行生成；而GBDT只能是串行生成 3、对于最终的输出结果而言，随机森林采用 ...
分类：
其他好文 时间：
2020-03-23 00:06:15
阅读次数：
111
LambdaMART 之 lambda 概念 LTR 排序学习主要用于对召回结果的精排，主流使用基于pair（文档对标记）的 LambdaMART 算法，该算法由两部分组成：lambda + MART(GBDT:梯度提升树)。lambda是MART求解过程使用的梯度，其物理含义是一个待排序的文档下一 ...
分类：
其他好文 时间：
2020-03-21 14:52:19
阅读次数：
66
一、基本概念 GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。 GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。 弱分类器一般会选择为CART TREE（也就是分类回归树）。 每一轮预测和实际值有残差，下 ...
分类：
其他好文 时间：
2020-03-12 17:13:44
阅读次数：
71
