1.GBDT(Gradient Boosting Decision Tree)思想 Boosting : Gradient boosting Gradient boosting是 boosting 的其中一种方法，它主要的思想是，每一次建立单个学习器时，是在之前建立的模型的损失函数的梯度下降方向。 ...
分类：
编程语言 时间：
2018-12-21 21:20:35
阅读次数：
311
Gradient Tree Boosting 梯度树提升GTB，又叫做gradient boosting regression tree梯度提升回归树GBRT，有叫做gradient boosting decision tree梯度提升回归树GBDT GBDT 的优点: 对混合型数据的自然处理（异构 ...
分类：
其他好文 时间：
2018-12-10 11:33:19
阅读次数：
465
Adaboost和GBDT的区别以及xgboost和GBDT的区别 以下内容转自 https://blog.csdn.net/chengfulukou/article/details/76906710 ，本文主要用作记录收藏 AdaBoost VS GBDT 和AdaBoost一样，Gradient ...
分类：
其他好文 时间：
2018-12-04 21:12:03
阅读次数：
193
Bagging 典型的代表：随机森林。 从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果： Boosting 典型代表：AdaBoost， Xgboost。 训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策 ...
分类：
编程语言 时间：
2018-12-02 13:40:42
阅读次数：
280
1. 前言 相信看了之前关于集成学习的介绍，大家对集成学习有了一定的了解。本文在给大家介绍下远近闻名的随机森林（RF）算法。 随机森林是集成学习中可以和梯度提升树GBDT分庭抗礼的算法，尤其是它可以很方便的并行训练，在如今大数据大样本的的时代很有诱惑力。 2. 随机森林原理 随机森林是Bagging ...
分类：
其他好文 时间：
2018-11-16 18:50:02
阅读次数：
285
1. 前言 前面从整体的角度介绍了集成学习算法，集成学习算法分为Bagging、Boosting、Stacking。Bagging的特点是各个弱学习器之间没有依赖关系，Boosting的特点是各个弱学习器之间有依赖关系，Stacking的特点是在多个学习器的基础上再加一个机器学习算法进行预测。 <! ...
分类：
其他好文 时间：
2018-11-14 14:12:34
阅读次数：
113
boosting：不同的分类器是通过串行训练而获得的，每个新分类器都根据已经训练出的分类器的性能来进行训练。通过集中关注被已有分类器错分的那些样本来获得新的分类器。 权重alpha：弱分类器的线性组合系数，用来构成完整分类器。对每个数据的分类时，其结果是弱分类器结果的线性组合。 权重D：样本的权重向 ...
分类：
编程语言 时间：
2018-11-07 21:06:28
阅读次数：
173
【译】提升树算法的介绍（Introduction to Boosted Trees） 1. 有监督学习的要素 XGBoost 适用于 有监督学习 问题。在此类问题中，我们使用多特征的训练数据集 $x_i$ 去预测一个目标变量 $y_i$ 。在专门学习树模型前，我们先回顾一下有监督学习的基本要素。 E ...
分类：
编程语言 时间：
2018-10-27 21:14:56
阅读次数：
188
GBDT 全称 Gradient Boosting Decision Tree，梯度提升决策树。 梯度增强决策树的思想来源于两个地方，首先是增强算法（Boosting），然后是梯度增强（Gradient Boosting）的想法。 增强算法是一种试图用弱学习器提升为强学习器的算法。这种算法中比较成熟 ...
分类：
其他好文 时间：
2018-10-23 00:10:09
阅读次数：
165
如果说线性回归算法像丰田凯美瑞的话，那么梯度提升（GB）方法就像是UH-60黑鹰直升机。XGBoost算法作为GB的一个实现是Kaggle机器学习比赛的常胜将军。不幸的是，很多从业者都只把这个算法当作黑盒使用（包括曾经的我）。这篇文章的目的就是直观而全面的介绍经典梯度提升方法的原理。 原理说明 我们 ...
分类：
其他好文 时间：
2018-10-21 01:03:41
阅读次数：
505
