boosting是一种集成技术，它试图从许多弱分类器中创建一个强大的分类器。 这是通过从训练数据构建模型来完成的，然后创建第二个模型，试图纠正第一个模型中的错误。模型被添加到训练集被完美地预测或增加模型的最大数量。 AdaBoost是第一个真正成功的用于二进制分类的增强算法。这是理解提升的最佳起点。 ...
分类：
其他好文 时间：
2018-05-23 02:16:20
阅读次数：
196
LightGBM是微软旗下DMTK推出的Gradient Boosting框架，因为其快速高效，以后或许会成为数据挖掘竞赛中的又一个大杀器。地址：https://github.com/Microsoft/LightGBM 。 该项目刚开源就被受到热捧：三天之内GitHub上被star了1000+次， ...
分类：
编程语言 时间：
2018-05-22 12:34:36
阅读次数：
371
一、特征提取Feature Extraction： · SIFT [1] [Demo program][SIFT Library] [VLFeat] · PCA-SIFT [2] [Project] · Affine-SIFT [3] [Project] · SURF [4] [OpenSURF] ...
分类：
其他好文 时间：
2018-05-21 14:26:01
阅读次数：
200
集成学习之Boosting —— AdaBoost原理 "集成学习之Boosting —— AdaBoost实现" 集成学习大致可分为两大类：Bagging和Boosting。Bagging一般使用强学习器，其个体学习器之间不存在强依赖关系，容易并行。Boosting则使用弱分类器，其个体学习器之间 ...
分类：
其他好文 时间：
2018-05-20 14:10:37
阅读次数：
218
一、AdaBoost简介 Boosting, 也称为增强学习或提升法，是一种重要的集成学习技术， 能够将预测精度仅比随机猜度略高的弱学习器增强为预测精度高的强学习器，这在直接构造强学习器非常困难的情况下，为学习算法的设计提供了一种有效的新思路和新方法。其中最为成功应用的是，Yoav Freund和R ...
分类：
编程语言 时间：
2018-05-20 00:47:29
阅读次数：
391
AdaBoost的一般算法流程 输入： 训练数据集 $T = \left \{(x_1,y_1), (x_2,y_2), \cdots (x_N,y_N)\right \}$，$y\in\left\{ 1,+1 \right\}$，基学习器$G_m(x)$，训练轮数M 1. 初始化权值分布： $w_ ...
分类：
其他好文 时间：
2018-05-19 21:21:43
阅读次数：
224
第一次调整Boosting算法的参数可能是一个非常艰难的任务。有很多参数可供选择，调整不同的参数会有不同的结果产生。最好的调参可能是取决于数据。每当我得到一个新的数据集，我都会学到一些新的东西。对分类和回归树（CART）有很好的理解有助于我们理解boosting 我最喜欢的Boosting包是xgb ...
分类：
其他好文 时间：
2018-05-18 13:45:01
阅读次数：
211
整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 AdaBoost GBDT Xgboost 1.AdaBoost Boosting的本质实际上是一个加法模型，通过改变训练样本权重 ...
分类：
其他好文 时间：
2018-05-09 22:50:31
阅读次数：
234
1、boosting与bagging的区别： （1）bagging：从原始数据中随机抽样得到S个同样大小的数据集，来训练S个基学习器，各学习器之间互不依赖。是一种并行的方法。 各分类器的权重都是相等的。分类结果是用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。 （抽样方法为 ...
分类：
其他好文 时间：
2018-05-04 14:04:17
阅读次数：
240
python3 学习使用随机森林分类器 梯度提升决策树分类 的api，并将他们和单一决策树预测结果做出对比 附上我的git，欢迎大家来参考我其他分类器的代码: https://github.com/linyi0604/MachineLearning ...
分类：
编程语言 时间：
2018-04-29 17:44:12
阅读次数：
253
