xgboost（eXtreme Gradient Boosting） 大规模并行 boosting tree 的工具，据说是现在最好用的 boosting 算法，针对传统 GBDT 算法做了很多改进 xgboost 和传统 GBDT 的区别 GBDT 基学习器只用 CART 树，而 xgboost ...
分类：
编程语言 时间：
2020-03-07 20:57:18
阅读次数：
95
1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上， ...
分类：
数据库 时间：
2020-03-04 09:52:00
阅读次数：
84
目录 简述集成学习 Boosting介绍 AdaBoost算法 GBDT算法 总结 一、简述集成学习 上一篇博文已经介绍了：集成算法是由多个弱学习器组成的算法，根据个体学习器的生成方式不同，集成算法分成两类： 个体学习器之间不存在强依赖关系，可以并行化生成每个个体学习器，这一类的代表是Bagging ...
分类：
其他好文 时间：
2020-02-24 00:10:39
阅读次数：
98
@[toc] 1.GradientBoostingClassifier loss :给定损失函数，可选对数似然函数deviance和指数损失函数exponential；默认为deviance；不建议修改。 n_estimators ：最大迭代次数，值过小可能会导致欠拟合，值过大可能会导致过拟合，一般 ...
分类：
其他好文 时间：
2020-02-08 23:17:16
阅读次数：
133
前言 本来应该是年后就要写的一篇博客，因为考完试后忙了一段时间课设和实验，然后回家后又在摸鱼，就一直没开动。趁着这段时间只能呆在家里来把这些博客补上。在之前的文章中介绍了 Random Forest 和 AdaBoost，这篇文章将介绍介绍在数据挖掘竞赛中，最常用的算法之一 —— GBDT（Grad ...
分类：
其他好文 时间：
2020-02-02 23:45:02
阅读次数：
87
传统CTR预估模型包括：LR、FM、GBDT等，其优点是：可解释性强、训练和部署方便、便于在线学习。 （一）CTR预估 1.在cost-per-click：CPC广告中广告主按点击付费。为了最大化平台收入和用户体验，广告平台必须预测广告的CTR，称作predict CTR：pCTR。对每个用户的每次 ...
分类：
其他好文 时间：
2020-01-06 17:43:21
阅读次数：
815
决策树也是一种基础的机器学习模型 比如预测今天小明是否出去打球, 那么我们知道一些特征, 通过对特征的划分,我们可以做出一颗树, 就是决策树, 其实决策树在管理学也用的很多, 主要是对每种情况给出一个概率,然后判断情况的优劣, 这样我们可以通过这棵树来判断当前的情况 如何判断哪个特征进行划分呢, 我 ...
分类：
其他好文 时间：
2020-01-03 23:18:17
阅读次数：
62
XGboost算法 XGBoost是GBDT算法的一种改进，是一种常用的有监督集成学习算法；是一种伸缩性强、便捷的可并行构建模型的GradientBoosting算法。 原理是：在GBDT目标函数的基础上加入惩罚项，如下图绿框。通过限制树模型的叶子节点的个数和叶子节点的值来降低模型复杂度，从而防止过 ...
分类：
编程语言 时间：
2020-01-01 17:17:34
阅读次数：
105
GBDT(梯度提升迭代决策树） 总结 优先解决回归问题，将第一个数据的残差传入到第二个数据中去 构建下一个数据集的数据是上一个数据集的残差 详述 GBDT也是Boosting算法的一种，但是和AdaBoost算法不同;区别如下: AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值，然后 ...
分类：
编程语言 时间：
2020-01-01 17:03:27
阅读次数：
195
1.来源 本质上 GBDT+LR 是一种具有 stacking 思想的二分类器模型，所以可以用来解决二分类问题。这个方法出自于 Facebook 2014 年的论文 Practical Lessons from Predicting Clicks on Ads at Facebook 。 2.使用场 ...
分类：
其他好文 时间：
2019-12-09 19:12:22
阅读次数：
181
