机器学习算法中GBDT和XGBOOST的区别有哪些？（转自知乎https://www.zhihu.com/question/41354392/answer/98658997） xgboost相比传统gbdt有何不同？xgboost为什么快？xgboost如何支持并行？ 传统GBDT以CART作为基分 ...
分类：
其他好文 时间：
2017-03-08 16:20:11
阅读次数：
845
在Bagging与随机森林算法原理小结中，我们对随机森林(Random Forest, 以下简称RF）的原理做了总结。本文就从实践的角度对RF做一个总结。重点讲述scikit-learn中RF的调参注意事项，以及和GBDT调参的异同点。 1. scikit-learn随机森林类库概述 在scikit ...
分类：
其他好文 时间：
2017-03-07 00:15:08
阅读次数：
423
1 随机森林 bagging的好处是降低各个子分类器的variance，而决策树又是对数据敏感的算法，variance比较大。因此我们很自然地就把bagging用到了决策树。也就是基本的随机森林算法： 随机森林的好处是： ...
分类：
其他好文 时间：
2017-03-06 22:04:03
阅读次数：
134
R语言︱决策树族——随机森林算法 笔者寄语：有一篇《有监督学习选择深度学习还是随机森林或支持向量机?》（作者Bio：SebastianRaschka）中提到，在日常机器学习工作或学习中，当我们遇到有监督学习相关问题时，不妨考虑下先用简单的假设空间（简单模型集合），例如线性模型逻辑回归。若效果不好，也 ...
分类：
编程语言 时间：
2017-02-19 18:29:33
阅读次数：
350
R语言︱机器学习模型评估方案（以随机森林算法为例） R语言︱机器学习模型评估方案（以随机森林算法为例） 笔者寄语：本文中大多内容来自《数据挖掘之道》，本文为读书笔记。在刚刚接触机器学习的时候，觉得在监督学习之后，做一个混淆矩阵就已经足够，但是完整的机器学习解决方案并不会如此草率。需要完整的评价模型的 ...
分类：
编程语言 时间：
2017-02-19 18:06:10
阅读次数：
2052
机器学习中的过拟合问题 相关内容： 1、 R语言︱ROC曲线——分类器的性能表现评价 2、机器学习中的过拟合问题 3、R语言︱机器学习模型评估方案（以随机森林算法为例） —————————————————————————— 过拟合问题举例 右图在训练数据上拟合完美，但是预测第11个时候， 左图虽然拟 ...
分类：
其他好文 时间：
2017-02-19 18:04:41
阅读次数：
300
笔记︱集成学习Ensemble Learning与树模型、Bagging 和 Boosting 本杂记摘录自文章《开发 | 为什么说集成学习模型是金融风控新的杀手锏？》 基本内容与分类见上述思维导图。 . . 一、机器学习元算法 随机森林：决策树+bagging=随机森林 梯度提升树：决策树Boos ...
分类：
其他好文 时间：
2017-02-19 17:11:55
阅读次数：
398
笔记+R︱风控模型中变量粗筛（随机森林party包）+细筛（woe包） 笔记+R︱风控模型中变量粗筛（随机森林party包）+细筛（woe包） 本内容来源于CDA-DSC课程内容，原内容为《第16讲 汽车金融信用违约预测模型案例》。 建立违约预测模型的过程中，变量的筛选尤为重要。需要经历多次的筛选， ...
分类：
其他好文 时间：
2017-02-19 17:06:19
阅读次数：
488
预测模型为何无法保持稳定？ 让我们通过以下几幅图来理解这个问题： 此处我们试图找到尺寸（size）和价格（price）的关系。三个模型各自做了如下工作： 在应用中，一个常见的做法是对多个模型进行迭代，从中选择表现更好的。然而，最终的分数是否会有改善依然未知，因为我们不知道这个模型是更好的发掘潜在关系 ...
分类：
其他好文 时间：
2017-02-08 22:53:08
阅读次数：
355
转载于：http://www.cnblogs.com/pinard/p/6050306.html （楼主总结的很好，就拿来主义了，不顾以后还是多像楼主学习） 决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树 ...
分类：
编程语言 时间：
2017-02-06 19:45:17
阅读次数：
533
