" " " " 很好理解，就是将一些基本的性能一般的弱分类器组合起来，来构成一个性能较好的强分类器；这其中如果数据一样的话那不是每次训练出的分类器就都一样了嘛，所以在每次训练后要根据训练结果来改变数据的权重；还有一个关键点是通过什么方法来组合这些弱分类器． " " " " " " " " 由8.2可 ...
分类：
其他好文 时间：
2019-04-06 17:12:28
阅读次数：
152
首先明确一点，gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树，这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候，弱分类器的输出的结果相减是有意义的。 ...
分类：
其他好文 时间：
2019-04-06 17:04:06
阅读次数：
106
一句话介绍 随机森林是一种集成算法（Ensemble Learning），它属于Bagging类型，通过组合多个弱分类器，最终结果通过投票或取均值，使得整体模型的结果具有较高的精确度和泛化性能。其可以取得不错成绩，主要归功于“随机”和“森林”，一个使它具有抗过拟合能力，一个使它更加精准。 Baggi ...
分类：
其他好文 时间：
2019-03-20 20:40:56
阅读次数：
423
boosting：不同的分类器是通过串行训练而获得的，每个新分类器都根据已经训练出的分类器的性能来进行训练。通过集中关注被已有分类器错分的那些样本来获得新的分类器。 权重alpha：弱分类器的线性组合系数，用来构成完整分类器。对每个数据的分类时，其结果是弱分类器结果的线性组合。 权重D：样本的权重向 ...
分类：
编程语言 时间：
2018-11-07 21:06:28
阅读次数：
173
Gradient boosting decision tree 介绍： 首先gbdt 是通过采用加法模型（即基函数的线性组合），以及不断减小训练过程产生的残差来达到将数据分类或者回归的算法。 GBDT训练过程 gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训 ...
分类：
其他好文 时间：
2018-09-29 20:26:08
阅读次数：
234
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。Adaboost算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值 ...
分类：
编程语言 时间：
2018-09-12 13:08:34
阅读次数：
236
简介 AdaBoost算法的人脸检测算法包含的主要工作：（1）通过积分图快速求得Haar特征；（2）利用AdaBoost算法从大量的特征中选择出判别能力较强的少数特征用于人脸检测分类；（3）提出一个级联结构模型，将若干个弱分类器集成一个强分类器，其能够快速排除非人脸区域，提高算法的检测速度。 2. ...
分类：
编程语言 时间：
2018-09-06 20:35:01
阅读次数：
240
boosting 是一种将弱分类器转化为强分类器的方法统称，而adaboost是其中的一种，或者说AdaBoost是Boosting算法框架中的一种实现 https://www.zhihu.com/question/37683881 ...
分类：
数据库 时间：
2018-08-24 17:18:01
阅读次数：
240
http://blog.itpub.net/31542119/viewspace-2199549/ XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的 ...
分类：
其他好文 时间：
2018-08-11 12:28:08
阅读次数：
158
理论 什么是朴素贝叶斯算法？ 朴素贝叶斯分类器是一种基于贝叶斯定理的弱分类器，所有朴素贝叶斯分类器都假定样本每个特征与其他特征都不相关。举个例子，如果一种水果其具有红，圆，直径大概3英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性 ...
分类：
编程语言 时间：
2018-07-07 20:41:29
阅读次数：
197
