from:https://www.cnblogs.com/peizhe123/p/5086128.html GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法 ...
分类：
数据库 时间：
2019-05-23 16:38:11
阅读次数：
116
集成学习方式总共有3种：bagging-(RF)、boosting-(GBDT/Adaboost/XGBOOST)、stacking 下面将对Bagging 进行介绍：（如下图所示） 用Bagging的方法抽取训练集时，大约有1/3 的数据没有被抽到。 从训练集进行一系列的子抽样，得到子训练集，训练 ...
分类：
其他好文 时间：
2019-05-22 11:06:06
阅读次数：
118
原文地址：https://www.jianshu.com/p/d8ceeee66a6f Decision Tree 基本思想在于每次分裂节点时选取一个特征使得划分后得到的数据集尽可能纯。 划分标准 信息增益(Information Gain) 信息增益 = 未划分数据集的信息熵 划分后子数据集的信息 ...
分类：
其他好文 时间：
2019-05-04 00:16:56
阅读次数：
127
首先明确一点，gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树，这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候，弱分类器的输出的结果相减是有意义的。 ...
分类：
其他好文 时间：
2019-04-06 17:04:06
阅读次数：
106
即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。 对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。在原理篇中对这些分类损失函数有详细的介绍。一般来说，推荐使用默认的"devi ...
分类：
其他好文 时间：
2019-03-25 14:56:03
阅读次数：
132
1.前向分布算法 负梯度拟合 损失函数 回归 二分类，多分类 正则化 优缺点 sklearn参数 应用场景 ...
分类：
编程语言 时间：
2019-03-02 00:51:12
阅读次数：
155
集成学习： 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。 目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森林。 集成学习主要思想： ...
分类：
其他好文 时间：
2019-02-27 20:36:53
阅读次数：
221
一、简介 gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非常喜 ...
分类：
其他好文 时间：
2019-02-25 23:26:16
阅读次数：
590
GBDT和XgBoost的区别 首先，GBDT来自于融合模型中的Boosting算法，Boosting算法的原理是先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，提高训练数据集中判断错误的样本权重，降低判断正确的权重，使得先前基学习器做错的样本在后续能得到更多关注，然后... ...
分类：
其他好文 时间：
2019-02-22 23:22:02
阅读次数：
213
