本文是要配合《统计学习方法》才能看懂的，因为中间有些符号和定义是直接使用书本中的先弄明白以下三个公式：1）Boost（提升法）=加法模型（即基函数的线性组合）+前向分步算法+损失函数2）Adaboost=Boost+损失函数是指数函数（基函数可以任意）3）提升树=Boost+基函数是决策树（损失函数...
分类：
其他好文 时间：
2015-07-07 10:59:09
阅读次数：
241
上一篇中我们讲到了GBDT算法的第一个版本，是基于残差的学习思路。今天来说第二个版本，可以说这个版本的比较复杂，涉及到一些推导和矩阵论知识。但是，我们今天可以看到，两个版本之间的联系，这个是学习算法的一个重要步骤。这篇博文主要从下面这几个方面来说基于梯度的GBDT算法：
（1）算法的基本步骤；
（2）其中的学数学推导；
（3）基于梯度的版本和基于残差的版本之间的联系；在讲解算法的详细步骤之前，...
分类：
编程语言 时间：
2015-03-31 18:15:53
阅读次数：
2069
参考文献：http://www.zilhua.com/629.html
http://www.tuicool.com/articles/JvMJve
http://blog.sina.com.cn/s/blog_573085f70101ivj5.html
我的数据挖掘算法：https://github.com/linyiqun/DataMiningAlgorithm
我的算法库：https...
分类：
其他好文 时间：
2015-03-31 09:15:44
阅读次数：
184
GBDT算法有两种描述思路，一个是基于残差的版本，一个是基于梯度gradient的版本。这篇我们先说说基于残差的版本。前面一篇博文已经说了该版本的大致原理，请参考。
http://blog.csdn.net/puqutogether/article/details/41957089这篇我们再总结一个几个注意点：
这个版本的核心思路：每个回归树学习前面树的残差，并且用shrinkage把学习到的结果...
分类：
编程语言 时间：
2015-03-30 18:55:08
阅读次数：
309
GBDT可以看做是由多棵回归树组成的，所以要理解GBDT，就要先理解回归树。回归树也是为了做预测，只是将特征空间划分成了若干个区域，在每个区域里进行预测。...
分类：
其他好文 时间：
2015-03-17 22:00:10
阅读次数：
312
这里以二元分类为例子，给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算，注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框...
分类：
其他好文 时间：
2015-03-09 22:17:55
阅读次数：
1493
这里以二元分类为例子，给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算，注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框...
分类：
其他好文 时间：
2015-03-08 15:29:50
阅读次数：
543
一、要理解GBDT当然要从GB(Gradient Boosting)和DT(Decision Tree)两个角度来理解了；
二、GB其实是一种理念，他并不是这一个具体的算法，意思是说沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器；注意，这里的梯度下降法是在函数空间中通过梯度下降法寻找使得LOSS最小的一个函数，区别于传统的梯度下降法选择一个方向；那么问题就来...
分类：
其他好文 时间：
2015-02-10 18:48:53
阅读次数：
410
转自：http://blog.csdn.net/w28971023/article/details/8240756在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAddit...
分类：
其他好文 时间：
2014-11-30 22:46:30
阅读次数：
374
[本文链接：http://www.cnblogs.com/breezedeus/p/4109480.html，转载请注明出处] 我的博客主营地迁至github，欢迎朋友们有空去看看：https://breezedeus.github.io/，阅读体验好很多。 本文具体内容：https://breez...
分类：
其他好文 时间：
2014-11-20 00:00:47
阅读次数：
1712
