LR （一）认识Logistic回归（LR）分类器 实现原理 看以下链接 具体的实验代码 本地文件夹。 http://blog.csdn.net/suipingsp/article/details/41822313 GBDT：梯度提升决策树 FM ...
分类：
编程语言 时间：
2017-06-11 18:28:55
阅读次数：
133
机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。假如你在乎精度（ac ...
分类：
编程语言 时间：
2017-06-10 10:48:08
阅读次数：
224
GBDT和xgboost在竞赛和工业界使用都非常频繁，能有效的应用到分类、回归、排序问题，虽然使用起来不难，但是要能完整的理解还是有一点麻烦的。 本文尝试一步一步梳理GB、GBDT、xgboost，它们之间有非常紧密的联系，GBDT是以决策树（CART）为基学习器的GB算法，xgboost扩展和改进 ...
分类：
其他好文 时间：
2017-06-09 14:09:49
阅读次数：
202
版权声明： 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com。也可以加我的微博: @leftnoteasy 前言： 决策树这种算法有着很多良好的特 ...
分类：
其他好文 时间：
2017-06-09 14:06:42
阅读次数：
211
比赛得分公式如下： 其中，P为Precision , R为 Recall。 GBDT训练基于验证集评价，此时会调用评价函数，XGBoost的best_iteration和best_score均是基于评价函数得出。 评价函数： input: preds和dvalid，即为验证集和验证集上的预测值， r ...
分类：
其他好文 时间：
2017-05-27 23:09:10
阅读次数：
2279
曾经在看用RF和GBDT的时候，以为是非常相似的两个算法，都是属于集成算法，可是细致研究之后，发现他们根本全然不同。以下总结基本的一些不同点 Random Forest： bagging （你懂得。原本叫Bootstrap aggregating） Recall that the key to ba ...
分类：
其他好文 时间：
2017-05-16 20:49:16
阅读次数：
291
1GBDT和LR融合 LR模型是线性的，处理能力有限，所以要想处理大规模问题，需要大量人力进行特征工程，组合相似的特征，例如user和Ad维度的特征进行组合。 GDBT天然适合做特征提取，因为GBDT由回归树组成所以， 每棵回归树就是天然的有区分性的特征及组合特征，然后给LR模型训练，提高点击率预估 ...
分类：
其他好文 时间：
2017-05-07 00:11:05
阅读次数：
535
1.数据城堡 -- 猜你喜欢 2.数据城堡 -- 微额借款用户人品预测大赛 3.阿里天池 -- 需求预测与分仓规划 4.kaggle -- 14年CTR预测（GBDT+LR/FM） 5.魔镜 -- 风控 ...
分类：
其他好文 时间：
2017-04-23 12:36:32
阅读次数：
259
常见的机器学习模型：感知机，线性回归，逻辑回归，支持向量机，决策树，随机森林，GBDT，XGBoost，贝叶斯，KNN，K-means等； 常见的机器学习理论：过拟合问题，交叉验证问题，模型选择问题，模型融合问题等； K近邻：算法采用测量不同特征值之间的距离的方法进行分类。 优点： 1.简单好用，容 ...
分类：
其他好文 时间：
2017-04-07 15:52:23
阅读次数：
356
Xgboost是GB算法的高效实现，xgboost中的基学习器除了可以是CART（gbtree）也可以是线性分类器（gblinear）。 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问 ...
分类：
其他好文 时间：
2017-04-07 13:25:44
阅读次数：
389
