码迷,mamicode.com
首页 > 数据库 > 详细

DBDT的改进之XGBoost算法介绍

时间:2019-11-01 20:53:31      阅读:158      评论:0      收藏:0      [点我收藏+]

标签:森林   edit   内容   font   tca   img   http   欺诈   card   

主要内容:

  XGBoost算法的介绍

  XGBoost算法的损失函数

  XGBoost函数介绍

  算法的应用实战——信用卡欺诈行为的识别

1.XGBoost算法的介绍

XGBoost是由传统的GBDT模型发展而来的,GBDT模型在求解最优化问题时应用了一阶导技术,而XGBoost则使用损失函数的一阶和二阶导,而且可以自定义损失函数,只要损失函数可一阶和二阶求导。

XGBoost算法相比于GBDT算法还有其他优点,例如支持并行计算,大大提高算法的运行效率;XGBoost在损失函数中加入了正则项,用来控制模型的复杂度,进而可以防止模型的过拟合;XGBoost除了支持CART基础模型,还支持线性基础模型;XGBoost采用了随机森林的思想,对字段进行抽样,既可以防止过拟合,也可以降低模型的计算量。

2.XGBoost算法的损失函数

技术图片

 技术图片

技术图片

技术图片

技术图片

 2.1损失函数的演变

技术图片

 技术图片

技术图片

 技术图片

技术图片

技术图片

 3.XGBoost函数介绍

技术图片

技术图片

技术图片

技术图片

 

 4.算法的应用实战——信用卡欺诈行为的识别

 数据下载:https://www.kaggle.com/mlg-ulb/creditcardfraud

完整代码:https://www.cnblogs.com/tszr/p/10060935.html

DBDT的改进之XGBoost算法介绍

标签:森林   edit   内容   font   tca   img   http   欺诈   card   

原文地址:https://www.cnblogs.com/HuangYJ/p/11773994.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!