Adaboost算法及其代码实现 算法概述 AdaBoost（adaptive boosting），即自适应提升算法。 Boosting 是一类算法的总称，这类算法的特点是通过训练若干弱分类器，然后将弱分类器组合成强分类器进行分类。 为什么要这样做呢？因为弱分类器训练起来很容易，将弱分类器集成起来， ...
分类：
编程语言 时间：
2020-01-30 09:18:45
阅读次数：
99
Baggging 和Boosting都是模型融合的方法，可以将弱分类器融合之后形成一个强分类器，而且融合之后的效果会比最好的弱分类器更好。 Bagging: 先介绍Bagging方法： Bagging即套袋法，其算法过程如下： 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping ...
分类：
其他好文 时间：
2020-01-15 21:16:43
阅读次数：
79
集成学习 原理 集成学习是将许多个弱学习器通过策略组合到一起的算法，弱学习器可以是树或是神经网络或者是其他。目前集成学习的方法分为两大类：bagging方法和boosting方法。 bagging与随机森林 bagging方法是从原始数据集中进行多次随机采样，每次采样多个样本。记为T个采样集，每个采 ...
分类：
其他好文 时间：
2020-01-15 11:48:13
阅读次数：
76
Adaboost（Adaptive boosting)是boosting（提升）家族的重要算法。boosting家族算法的核心是串行训练学习器，可以理解为"站在巨人的肩膀"，后一个学习器的学习是基于前一个学习器的学习基础之上的，对应的是bagging学习器，学习器之间没有依赖关系。 Adaboost ...
分类：
其他好文 时间：
2020-01-14 20:49:54
阅读次数：
87
GBDT(梯度提升迭代决策树） 总结 优先解决回归问题，将第一个数据的残差传入到第二个数据中去 构建下一个数据集的数据是上一个数据集的残差 详述 GBDT也是Boosting算法的一种，但是和AdaBoost算法不同;区别如下: AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值，然后 ...
分类：
编程语言 时间：
2020-01-01 17:03:27
阅读次数：
195
Boosting算法 关键点与难点在于如何修改数据 原理：将 含有m个数据的数据集 丢给一个弱学习器1分类，比如分对百分之60， 那么经过一定手段修改数据集，数据个数还是m个，将修改后的数据集扔给弱学习器2训练，学习器2把在学习器1中分错的那一部分又分对百分之三十。 再修改数据集，将修改后的数据集扔 ...
分类：
编程语言 时间：
2020-01-01 14:53:15
阅读次数：
92
前言 上篇 "文章" 介绍了 的相关概念以及基于 Boosting的 AdaBoost，这篇文章将介绍基于模型融合的另一种方式 Bagging 的算法，随机森林（Random Forest）。(上篇公式敲的太累了这篇就来个简单的缓解缓解) 随机森林 算法思想 我们先来看看这个算法的名字，可以拆分开为 ...
分类：
其他好文 时间：
2019-12-28 19:10:38
阅读次数：
325
前言 前面的文章中介绍了决策树以及其它一些算法，但是，会发现，有时候使用使用这些算法并不能达到特别好的效果。于是乎就有了 （Ensemble Learning），通过构建多个学习器一起结合来完成具体的学习任务。这篇文章将介绍集成学习，以及其中的一种算法 AdaBoost。 集成学习 首先先来介绍下什 ...
分类：
其他好文 时间：
2019-12-27 23:58:53
阅读次数：
177
参考: 1. 陈天奇 "XGBoost: A Scalable Tree Boosting System" Paper地址: 其中$f_k$ 指的是第k 棵树的模型 xi 表示第 i 个样本 1.2 目标函数抽象 $Obj = \sum \limits_{i=1}^n l(y_i, \hat y_i ...
分类：
其他好文 时间：
2019-12-11 23:20:42
阅读次数：
113
介绍Stacking、Bagging和Boosting三种方式。 一、Stacking 思想：由原始的训练集训练出若干个单模型，将单模型的输出结果作为样本特征进行整合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据训练集训练一个新模型，并对样本进行预测。 注意：模型训练时，如果直接使用一 ...
分类：
其他好文 时间：
2019-11-27 00:38:18
阅读次数：
95
