AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写。 Adaboost算法的思想：在前一轮识别过程中识别错误的样本会在下一轮中提升权重，而那些识别正确的样本会降低权重。 Adaboost算法的原理：（1）将每个样本的权重进行初始化。每一个样本的权重相同（2）训练弱分类 ...
分类：
编程语言 时间：
2021-04-21 11:50:08
阅读次数：
0
AdaBoost训练弱分类器关注的是那些被分错的样本，AdaBoost每一次训练都是为了减少错误分类的样本。而GBDT训练弱分类器关注的是残差，也就是上一个弱分类器的表现与完美答案之间的差距，GBDT每一次训练分类器，都是为了减少这个差距。 GBDT的原理就是所有弱分类器的结果相加等于预测值，然后下 ...
分类：
其他好文 时间：
2021-04-19 15:12:38
阅读次数：
0
提升的概念 提升算法 提升算法推导 梯度提升决策树 决策树的描述 正则项的定义 目标函数的计算 目标函数继续化简 子树划分 Adaboost 误差上限 方差与偏差 Bagging能够减少训练方差，对于不剪枝的决策树、神经网络等学习器有良好的集成效果 Boosting减少偏差，能够基于泛化能力较弱的学 ...
分类：
其他好文 时间：
2020-07-15 01:15:23
阅读次数：
72
果然机器学习学起来要涵盖的主题真不少，初探了这么多了，还是可以不断发现新的主题。 参考资料：https://www.youtube.com/watch?v=tH9FH1DH5n0 Bagging (weighted) average or voting 使用情景：模型复杂，容易overfit，例如决 ...
分类：
其他好文 时间：
2020-06-29 23:00:15
阅读次数：
72
boosting Boosting 算法的特点在于：将表现一般的弱分类器通过组合变成更好的模型。代表自然就是我们的随即森林了。 GBDT和Adaboost是boost算法中比较常见的两种，这里主要讲解Adaboost。 Adaboost Adaboost算法的核心就是两个权重。对于数据有一个权重，权 ...
分类：
编程语言 时间：
2020-06-21 09:50:32
阅读次数：
59
https://www.cnblogs.com/zyly/p/9416263.html adaboost底数为e 系数αkαk表示了弱分类器Gk(x)Gk(x)的重要性，这里所有αα之和并不为1，f(x)f(x)的符号决定实例xx的类，f(x)f(x)的绝对值表示分类的置信度。 ...
分类：
其他好文 时间：
2020-06-17 23:07:09
阅读次数：
59
基本思路 Adaboost体现的是“三个臭皮匠，胜过一个诸葛亮”，它是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)， 然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。训练过程如下（参考Andy的机器学习--浅析Adaboost算法，他说得非常形象，贴切。） ...
分类：
编程语言 时间：
2020-06-17 20:12:02
阅读次数：
45
linear regression logistic regression SVM binary Tree naive bayes adaboost clustering ...
分类：
其他好文 时间：
2020-06-07 21:24:49
阅读次数：
59
梯度提升树GBDT GBDT是Boosting家庭中，除AdaBoost外另一个重要的算法。算法思想同样是让本轮迭代找到的决策树的损失比上轮更小。 GBDT负梯度拟合 用损失函数负梯度来拟合本轮损失近似值，进而拟合一个CART回归树。第t轮的第i个样本的损失函数的负梯度表示为： $$ r_{ti}= ...
分类：
其他好文 时间：
2020-05-13 16:50:25
阅读次数：
58
[TOC] 做haar特征的原因 1. 有些深度学习的目标检测算法有时候在物体非常相近的时候，误检率会非常高。所以我们可以先进行深度学习然后检测出大概的区域，然后再使用传统的机器学习算法来检测 2. opencv里面只有眼，脸之类的分类器，如果要实现自己的分类器就需要自己训练 https://blo ...
分类：
其他好文 时间：
2020-05-10 15:09:33
阅读次数：
83
