Gradient boosting decision tree 介绍： 首先gbdt 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。 GBDT训练过程 gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训 ...
分类：
其他好文 时间：
2018-09-29 20:26:08
阅读次数：
234
XGBoost是GBDT的改进和重要实现，主要在于： 提升算法 XGBoost也是一个加法模型，首先其在目标函数中加入了正则化项： 泰勒级数 yi(t)是第i个实例在第t次迭代的预测值，需要加入 ft来最小化以下目标 通过泰勒二阶展开近似来快速优化目标函数 其中 即l的一阶和二阶导数。移除常数项得到 ...
分类：
其他好文 时间：
2018-09-25 12:42:12
阅读次数：
459
LightGBM 可以使用一个 pairs 的 list 或一个字典来设置参数： 1.Booster提升器的参数： 2.可以制定多eval指标： 模型的训练：需要一个params参数和训练数据集 训练完成后存储模型： 模型使用如下方式来加载： 预测：已将训练或者加载好的模型都可以对数据集进行预测 在 ...
分类：
其他好文 时间：
2018-09-10 15:35:11
阅读次数：
2732
传统的GBDT是以CART作为基分类器，xgboost还支持线性分类器，这个时候XGBOOST相当于带L1和L2正则化的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统的GBDT在优化的hih只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下 ...
分类：
其他好文 时间：
2018-08-27 11:27:56
阅读次数：
188
背景 facebook上的广告并不是与query关联的，而是与用户的兴趣及其人口信息相关，所以相比于搜索其候选广告的体量要大的多； 级联模型：解决上述大量候选集合的问题，逐级增大计算复杂度； 实验： 评估方法： 1.归一化互信熵：y-->(-1,+1) 2.Calibration:预测点击数/观测点 ...
分类：
其他好文 时间：
2018-08-26 22:06:16
阅读次数：
204
1. xgboost在目标函数中加入了正则化项，当正则化项为0时与传统的GDBT的目标函数相同2. xgboost在迭代优化的时候使用了目标函数的泰勒展开的二阶近似，paper中说能加快优化的过程！！xgboost可自定义目标函数，但是目标函数必须二阶可导也是因为这个。GDBT中只用了一阶导数。3. ...
分类：
其他好文 时间：
2018-08-24 20:43:35
阅读次数：
254
1. 美团推荐算法实践：机器学习重排序模型成亮点 2. 天池离线赛 - 移动推荐算法（四）：基于LR, RF, GBDT等模型的预测 3. 学习排序 Learning to Rank 小结 4. CTR预估中GBDT与LR融合方案 ...
分类：
编程语言 时间：
2018-08-13 00:44:09
阅读次数：
189
importnumpyasnpnp.random.seed(10)importmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_classificationfromsklearn.linear_modelimportLogisticRegressionfromsklearn.ensembleimport(RandomTreesEmbeddin
分类：
其他好文 时间：
2018-08-09 15:47:13
阅读次数：
200
提升决策树GBDT 梯度提升决策树算法是近年来被提及较多的一个算法，这主要得益于其算法的性能，以及该算法在各类数据挖掘以及机器学习比赛中的卓越表现，有很多人对GBDT算法进行了开源代码的开发，比较火的是陈天奇的XGBoost和微软的LightGBM 一、监督学习 1、 监督学习的主要任务 监督学习是 ...
分类：
编程语言 时间：
2018-08-05 14:18:16
阅读次数：
225
GBDT虽然是个强力的模型，但却有着一个致命的缺陷，不能用类似mini batch的方式来训练，需要对数据进行无数次的遍历。如果想要速度，就需要把数据都预加载在内存中，但这样数据就会受限于内存的大小；如果想要训练更多的数据，就要使用外存版本的决策树算法。虽然外存算法也有较多优化，SSD也在普及，但在 ...
分类：
其他好文 时间：
2018-08-01 14:08:11
阅读次数：
178
