微信公众号： "AIKaggle" 欢迎建议和拍砖，若需要资源，请公众号留言; "如果你觉得AIKaggle对你有帮助，欢迎赞赏" Boosting算法的前世今生（下篇） [TOC] 本系列文章将会梳理Boosting算法的发展，介绍Boosting算法族的原理，框架，推导等，Boosting算法的 ...
分类：
编程语言 时间：
2019-09-21 18:56:21
阅读次数：
184
Adaboost是boost提升算法中的一种，Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法 ...
分类：
其他好文 时间：
2019-09-15 01:13:00
阅读次数：
97
1、GBDT模型介绍； 2、GBDT回归算法 3、GBDT分类算法 4、GBDT的损失函数 5、正则化 6、GBDT的梯度提升与梯度下降法的梯度下降的关系； 7、GBDT的优缺点 1、GBDT模型介绍； GBDT(Gradient Boosting Decision Tree) 又名：MART（Mu ...
分类：
其他好文 时间：
2019-09-01 14:45:08
阅读次数：
697
一、bagging和boosting的区别 参考：https://blog.csdn.net/blank_tj/article/details/82229322 简单总结Bagging：对数据集进行多次有放回抽样，每次的抽样进行分类计算生成弱分类器，分类问题就是把每一次的计算结果进行投票，看哪一种情 ...
分类：
其他好文 时间：
2019-08-19 10:03:43
阅读次数：
630
尽管近年来神经网络复兴并大为流行，但是 boosting 算法在训练样本量有限、所需训练时间较短、缺乏调参知识等场景依然有其不可或缺的优势。本文从算法结构差异、每个算法的分类变量时的处理、算法在数据集上的实现等多个方面对 3 种代表性的 boosting 算法 CatBoost、Light GBM ...
分类：
其他好文 时间：
2019-08-18 19:34:38
阅读次数：
152
一、集成学习 集成学习就是合并多个分类器的预测。一般会在一个项目快结束的时候使用集成算法，一旦建立了一些好的分类器，就可以使用集成把它们合并成一个更好的分类器。著名的集成方法：投票分类、bogging、pasting、boosting、stacking、和一些其它算法。 1.1 投票分类（少数服从多 ...
分类：
其他好文 时间：
2019-08-15 16:00:03
阅读次数：
78
1_XGBoost原理 $$ \begin{align} X\!G\!Boost&=eXtreme+GBDT\\ &=eXtreme+(Gradient+BDT) \\ &=eXtreme+Gradient+(Boosting+DecisionTree) \end{align} $$ $$Boost ...
分类：
其他好文 时间：
2019-08-14 21:43:35
阅读次数：
127
? 使用 Ada Boosting 方法提升若干个弱分类器的效果 ● 代码，每个感知机仅训练原数据集 trainRatio = 30% 的数据，然后进行调整和提升 ● 输出结果，随着使用的弱分类器数量的增多，预测精度逐渐上升。低维情况不明显，少数的弱分类器就已经达到了较好的精度，高维情况中，精度上升 ...
分类：
其他好文 时间：
2019-08-02 00:00:25
阅读次数：
102
在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient... ...
分类：
其他好文 时间：
2019-07-19 18:42:11
阅读次数：
72
1. LightGBM是什么东东 不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM，在三天之内GitHub上被star了1000次，fork了200次。知乎上有近千人关注“如何看待微软开源的LightGBM？”问题，被评价为“速.... ...
分类：
其他好文 时间：
2019-07-11 09:56:24
阅读次数：
512
