码迷,mamicode.com
首页 > 其他好文 > 详细

GBDT 梯度提升决策树简述

时间:2019-04-06 17:04:06      阅读:106      评论:0      收藏:0      [点我收藏+]

标签:odi   http   决策树   com   提升   上进   训练   迭代   cart   

首先明确一点,gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树,这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候,弱分类器的输出的结果相减是有意义的。残差相减是有意义的。

        如果选用的弱分类器是分类树,类别相减是没有意义的。上一轮输出的是样本 x 属于 A类,本一轮训练输出的是样本 x 属于 B类。 A 和 B 很多时候甚至都没有比较的意义,A 类- B类是没有意义的。

链接:

https://www.cnblogs.com/ModifyRong/p/7744987.html

GBDT 梯度提升决策树简述

标签:odi   http   决策树   com   提升   上进   训练   迭代   cart   

原文地址:https://www.cnblogs.com/kongweisi/p/10661894.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!