Gradient boosting decision tree 介绍： 首先gbdt 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。 GBDT训练过程 gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训 ...
分类：
其他好文 时间：
2018-09-29 20:26:08
阅读次数：
234
stacking算法原理 1：对于Model1，将训练集D分为k份，对于每一份，用剩余数据集训练模型，然后预测出这一份的结果 2：重复上面步骤，直到每一份都预测出来。得到次级模型的训练集 3：得到k份测试集，平均后得到次级模型的测试集 4: 对于Model2、Model3…..重复以上情况，得到M维 ...
分类：
编程语言 时间：
2018-09-23 18:20:45
阅读次数：
776
本文主要总结Bagging 和 Boosting 和 Stacking思想的异同点。这三种算法都可以称作为“meta-algorithms”，就是将多个机器学习方法集成到一个模型里面去降低方差，偏差，或者改善模型预测能力。通常bagging可以降低variance，boosting可以降低bias， ...
分类：
其他好文 时间：
2018-09-18 19:16:00
阅读次数：
357
1、线性模型 形式简单、易于建模、很好的可解释性 2、逻辑回归 无需事先假设数据分布； 可得到近似概率预测； 对率函数任意阶可导的凸函数，许多数值优化算法都可直接用于求取最优解 3、线性判别分析（LDA） 当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类 4、boosting 代表 ...
分类：
编程语言 时间：
2018-09-06 22:49:29
阅读次数：
191
五、随机森林和 Extra-Trees 六、Ada Boosting 和 Gradient Boosting 七、Stacking 八、学习scikit-learn文档, 官方学习文档： http://scikit-learn.org http://scikit-learn.org/stable/u ...
分类：
其他好文 时间：
2018-09-04 22:33:28
阅读次数：
478
1 数据探索 对数据进行一个整体的理解 1.1 查看数据都有一些什么特征 获取数据的10行记录进行观察，初步了解数据的组成，可以看到Age、Cabin里面是存在缺失值的，在进一步理解数据的统计量后再进行数据处理，观察各特征的最大最小值等，可以发现这些数据比较合理，不存在特别的异常值。 2 数据分析\ ...
分类：
编程语言 时间：
2018-08-31 18:03:18
阅读次数：
2670
名词解释 基站退服--由于停电，设备故障等原因导致基站退出服务状态，退服电压为46.5V 电池状态--正常放电、一次下电（二次下电）、油机发电、充电 电池隐患--组间不均衡（轻微、中等、严重）、单组电池 RF--Random Forest 随机森林 GB--Gradient Boosting 梯度提 ...
分类：
其他好文 时间：
2018-08-26 11:51:55
阅读次数：
482
boosting 是一种将弱分类器转化为强分类器的方法统称，而adaboost是其中的一种，或者说AdaBoost是Boosting算法框架中的一种实现 https://www.zhihu.com/question/37683881 ...
分类：
数据库 时间：
2018-08-24 17:18:01
阅读次数：
240
show the code: 参考的是sklearn中的样例: Gradient Boosting regression — scikit-learn 0.19.2 documentation 画出的图如下所示： ...
分类：
其他好文 时间：
2018-08-15 20:28:01
阅读次数：
709
http://blog.itpub.net/31542119/viewspace-2199549/ XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的 ...
分类：
其他好文 时间：
2018-08-11 12:28:08
阅读次数：
158
