码迷,mamicode.com
首页 > 其他好文 > 详细

梯度提升树中的负梯度和残差关系

时间:2018-11-01 16:58:55      阅读:345      评论:0      收藏:0      [点我收藏+]

标签:需要   技术   www.   .com   img   www   rac   bsp   学习   

我们希望找到一个 技术分享图片 使得 技术分享图片 最小,那么 技术分享图片 就得沿着使损失函数L减小的方向变化,即:

技术分享图片

同时,最新的学习器是由当前学习器 技术分享图片 与本次要产生的回归树 技术分享图片相加得到的:

技术分享图片

因此,为了让损失函数减小,需要令:

技术分享图片

即用损失函数对f(x)的负梯度来拟合回归树。

梯度提升树中的负梯度和残差关系

标签:需要   技术   www.   .com   img   www   rac   bsp   学习   

原文地址:https://www.cnblogs.com/duan-decode/p/9889955.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!