码迷,mamicode.com
首页 > 其他好文 > 详细

xgboost

时间:2018-09-03 02:23:53      阅读:178      评论:0      收藏:0      [点我收藏+]

标签:idt   The   pac   red   ons   png   src   neu   one   

xgboost

基本概念

Given dataset

技术分享图片

a tree ensemble model uses K additive functions to predict the output
技术分享图片

where, 技术分享图片是CART的集合
技术分享图片

优化目标
技术分享图片

其中,技术分享图片为正则项
技术分享图片

when train the model in additive manner, minimize the objective 技术分享图片 for 技术分享图片

技术分享图片

也即,技术分享图片拟合的是技术分享图片技术分享图片的差值

基于二阶泰勒展开

技术分享图片

这是一条过技术分享图片点的二次曲线,是技术分享图片技术分享图片附近的近似
则可以针对技术分享图片进行二次近似
技术分享图片

进一步化解
技术分享图片

其中
技术分享图片

技术分享图片

xgboost

标签:idt   The   pac   red   ons   png   src   neu   one   

原文地址:https://www.cnblogs.com/zjgtan/p/9576435.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!