1、GBDT模型介绍； 2、GBDT回归算法 3、GBDT分类算法 4、GBDT的损失函数 5、正则化 6、GBDT的梯度提升与梯度下降法的梯度下降的关系； 7、GBDT的优缺点 1、GBDT模型介绍； GBDT(Gradient Boosting Decision Tree) 又名：MART（Mu ...
分类：
其他好文 时间：
2019-09-01 14:45:08
阅读次数：
697
一、bagging和boosting的区别 参考：https://blog.csdn.net/blank_tj/article/details/82229322 简单总结Bagging：对数据集进行多次有放回抽样，每次的抽样进行分类计算生成弱分类器，分类问题就是把每一次的计算结果进行投票，看哪一种情 ...
分类：
其他好文 时间：
2019-08-19 10:03:43
阅读次数：
630
1_XGBoost原理 $$ \begin{align} X\!G\!Boost&=eXtreme+GBDT\\ &=eXtreme+(Gradient+BDT) \\ &=eXtreme+Gradient+(Boosting+DecisionTree) \end{align} $$ $$Boost ...
分类：
其他好文 时间：
2019-08-14 21:43:35
阅读次数：
127
本文主要回顾下几个常用算法的适应场景及其优缺点！ 机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热 ...
分类：
编程语言 时间：
2019-08-08 11:44:01
阅读次数：
129
机器学习”小憩“——总结应用场景 常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等； 常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等； K近邻：算法采用测量不同特征值之间的距离的方法进 ...
分类：
编程语言 时间：
2019-07-20 13:00:47
阅读次数：
162
在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。# 一、1.scikit-learn GBDT类库概述 在sacikit-learn中，GradientBoostingClassif... ...
分类：
其他好文 时间：
2019-07-19 19:07:58
阅读次数：
97
在Bagging与随机森林算法原理小结中，我们对随机森林(Random Forest, 以下简称RF）的原理做了总结。本文就从实践的角度对RF做一个总结。重点讲述scikit-learn中RF的调参注意事项，以及和GBDT调参的异同点。# 一、scikit-learn随机森林类库概述 在scikit... ...
分类：
其他好文 时间：
2019-07-19 18:44:10
阅读次数：
80
在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient... ...
分类：
其他好文 时间：
2019-07-19 18:42:11
阅读次数：
72
Practical Lessons From Predicting Clicks on Ads at Facebook 该篇文章为Facebook在2014年发表的关于利用GBDT和LR组合算法提高CTR(Click Through Rate)准确度的论文。 背景 CTR是指推送给某个顾客的商品是否 ...
分类：
其他好文 时间：
2019-07-02 12:15:15
阅读次数：
174
特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，改善模型算法增强模型繁华能力，减少过拟合。特征提取的方法分为3种：Filter过滤法、Wrapper包裹式、Embedded嵌入法 1.过滤法 移除低方差特征（不需要特征值）：计算各个特征的方差，设定阈值，选择方差>阈值的特征 以波士 ...
分类：
其他好文 时间：
2019-06-25 00:33:07
阅读次数：
179
