模型参数 参数名 参数描述 可选值 boosting_type 模型提升方式 'gbdt'、'dart'、'goss'、'rf' num_leaves 每个基学习器的最大叶子 默认31 max_depth 基学习器树的最大深度 默认-1，没有限制 learning_rate boosting学习率 ...
分类：
编程语言 时间：
2021-04-27 14:19:07
阅读次数：
0
AdaBoost训练弱分类器关注的是那些被分错的样本，AdaBoost每一次训练都是为了减少错误分类的样本。而GBDT训练弱分类器关注的是残差，也就是上一个弱分类器的表现与完美答案之间的差距，GBDT每一次训练分类器，都是为了减少这个差距。 GBDT的原理就是所有弱分类器的结果相加等于预测值，然后下 ...
分类：
其他好文 时间：
2021-04-19 15:12:38
阅读次数：
0
本文主要总结集成学习（ensemble learning）中一大类boosting模型--梯度提升。主要包括GBDT, XGBoost, LightBoost, CatBoost 这4种模型的原理，以及关于这4个模型的简单示例。 ...
分类：
其他好文 时间：
2020-09-08 20:50:31
阅读次数：
37
0、万恶之源版本号 tensorflow，pytorch，显卡版本，conda版本 1、什么是GBDT？ 2、xgboost在GBDT上做了哪些优化？ 3、随机森林核心思想有几个，分别是什么？ 1、gradient boosting decision tree 一种基于boosting增强策略的加法 ...
分类：
其他好文 时间：
2020-07-29 10:18:11
阅读次数：
78
一、简介 GBDT为梯度提升树，是提升树的一种改进形式。 二、算法原理 （1）初始化弱模型 $$f_{0}(x_{i})=arg\min_{c}\sum_{i=1}^{N}L(y_{i},c)$$ （2）在第m轮模型的计算中 （a）对每个样本i，计算负梯度 $$r_{im}=-\frac{\part ...
分类：
其他好文 时间：
2020-07-26 15:34:37
阅读次数：
80
一篇文章搞定GBDT、Xgboost和LightGBM的面试 丢丢 一枚永远找不到路的 路痴 GBDT和XGB基本上是机器学习面试里面的必考题。最近面试了五十场面试，基本三分之二的面试官都问了关于GBDT和XGB的问题。 下面把里面常用的知识点、常见的面试题整理出来 首先来说集成学习 集成学习 bo ...
分类：
其他好文 时间：
2020-07-03 21:40:21
阅读次数：
47
boosting Boosting 算法的特点在于：将表现一般的弱分类器通过组合变成更好的模型。代表自然就是我们的随即森林了。 GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。 Adaboost Adaboost算法的核心就是两个权重。对于数据有一个权重，权 ...
分类：
编程语言 时间：
2020-06-21 09:50:32
阅读次数：
59
1.简介 随机森林和GBDT都属于集成学习。 集成学习可分为两大类：bagging和boosting； 随机森林（RF） ∈ bagging GBDT ∈ boosting 2.随机森林：由多个决策树组成的一个集成学习算法，可用于分类和回归（分类效果好于回归），最终结果采用投票制得出。 数据集处理： ...
分类：
其他好文 时间：
2020-05-21 00:19:26
阅读次数：
49
梯度提升树GBDT GBDT是Boosting家庭中，除AdaBoost外另一个重要的算法。算法思想同样是让本轮迭代找到的决策树的损失比上轮更小。 GBDT负梯度拟合 用损失函数负梯度来拟合本轮损失近似值，进而拟合一个CART回归树。第t轮的第i个样本的损失函数的负梯度表示为： $$ r_{ti}= ...
分类：
其他好文 时间：
2020-05-13 16:50:25
阅读次数：
58
bagging(随机森林)和boosting(关注偏差，adaboost,xgboost,GBDT) ...
分类：
其他好文 时间：
2020-05-06 11:55:00
阅读次数：
64
