bagging(随机森林)和boosting(关注偏差，adaboost,xgboost,GBDT) ...
分类：
其他好文 时间：
2020-05-06 11:55:00
阅读次数：
64
XGBoost 相比于GBDT 做了两方面的优化： 一是算法本身的优化：在算法的弱学习器模型选择上，对比GBDT只支持决策树，XGBoost 还可以直接很多其他的弱学习器。 在算法的损失函数上，除了本身的损失，XGBoost 还加上了正则化部分，可以防止过拟合，泛化能力更强。 在计算方式上，GBDT... ...
分类：
编程语言 时间：
2020-05-03 17:02:08
阅读次数：
100
可以看到conda在windows上不支持直接装xgboost这个包的，取而代之的是py-xgboost这个包: conda install -c anaconda py-xgboost ...
集成学习 集成学习分为bagging和boosting两类，典型的bagging有随机森林等，典型的boosting有gbdt和adaboost等(xgboost和lightGBM都是基于gbdt的高效实现，在我的另外两篇博文中都有介绍)。 bagging与boosting的区别如下所述： 共同点： ...
分类：
其他好文 时间：
2020-04-21 15:17:19
阅读次数：
90
实体嵌入（embedding）目的将表格数据中的分类属性（一个至多个）向量化。1.实体嵌入简介：实体嵌入是主要应用于深度学习中处理表格分类数据的一种技术，或者更确切地说NLP领域最为火爆，word2vec就是在做word的embedding。神经网络相比于当下的流行的xgboost、LGBM等树模型... ...
分类：
其他好文 时间：
2020-04-05 00:32:18
阅读次数：
108
最近在做kaggle比赛，xgboost调参是个大问题。耗时，耗力啊。一个参数调半个小时啊。 看得懂吧，每个参数逐步的，调整取值范围。 建议： 每次调一个参数。 每次一个参数，输入3个数，例如：默认参数是 1， 候选范围你可以选择 【0.1,1,10】，一定要差一个数量级，这样可以圈定范围。然后通过 ...
分类：
其他好文 时间：
2020-04-03 00:43:34
阅读次数：
59
轻量级梯度提升模型 其相对 XGBoost 具有训练速度快、内存占用低的特点 "zhihu" 网红XGBoost的缺点 虽然利用预排序和近似算法可以降低寻找最佳分裂点的计算量，但在节点分裂过程中仍需要遍历数据集； 预排序过程的空间复杂度过高，不仅需要存储特征值，还需要存储特征对应样本的梯度统计值的索 ...
分类：
其他好文 时间：
2020-03-10 14:28:23
阅读次数：
48
xgboost（eXtreme Gradient Boosting） 大规模并行 boosting tree 的工具，据说是现在最好用的 boosting 算法，针对传统 GBDT 算法做了很多改进 xgboost 和传统 GBDT 的区别 GBDT 基学习器只用 CART 树，而 xgboost ...
分类：
编程语言 时间：
2020-03-07 20:57:18
阅读次数：
95
4. XGBoost的优势XGBoost算法可以给预测模型带来能力的提升。当我对它的表现有更多了解的时候，当我对它的高准确率背后的原理有更多了解的时候，我发现它具有很多优势： 4.1 正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化对减少过拟合也是有帮助的。实际上，XGBoost以 ...
分类：
其他好文 时间：
2020-02-28 21:08:07
阅读次数：
102
使用XGBoost实现多分类预测的实践代码 import pandas as pd import numpy as np import xgboost as xgb from sklearn.preprocessing import LabelEncoder from sklearn.model_s ...
分类：
其他好文 时间：
2020-01-15 00:03:53
阅读次数：
187
