梯度提升树GBDT原理

1.模型
提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法。以决策树为基函数的提升方法称为提升树（boosting tree)。对分类问题决策树是二叉分类树，对回归问题决策树是二叉决策树。提升树模型可以表示为决策树的加法模型：
其中，表示决策树；为决策树的参数；M为树的个数
2.学习过程
回归问题提升树使用以下前向分布算法：

在前向分布算法的第m步，给定当前模型，需求解

得到，即第m棵树的参数
当采用平方误差损失函数时，
其损失变为
其中,是当前模型拟合数据的残差（residual）。对于平方损失函数，拟合的就是残差；对于一般损失函数（梯度下降），拟合的就是残差的近似值
3.算法
输入：训练数据集
输出：提升树
（1）初始化
（2）对m = 1,2,…，M

1. 计算残差
2. 拟合残差学习一个回归树，得到
3. 更新

（3）得到回归问题提升树
仔细观察下上面的算法过程，我们可以看到GBDT很难实现并行
附sklearn中GBDT文档 地址
参考
（1）统计学习方法