思路梳理： 决策树 |————Bagging[bootstrap抽样、投票分类] |————Boosting[bootstrap抽样、分错元组权重上升、分类器上也加权重进而判断] |————RandomForest[bootstrap抽样、n个特征找少量的建树分类、Cart算法（基尼系数、不剪枝）， ...
分类：
其他好文 时间：
2016-06-26 22:31:03
阅读次数：
148
基本概念Adaboost算法，将多个弱分类器，组合成强分类器。
AdaBoost，是英文”Adaptive Boosting“（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。
它的自适应在于：前一个弱分类器分错的样本的权值（样本对应的权值）会得到加强，权值更新后的样本再次被用来训练下一个新的弱分类器。在每轮训练中，用总体（样本总体）训练新的弱分类器...
分类：
编程语言 时间：
2016-06-03 19:15:28
阅读次数：
399
给你这些水果图片，告诉你哪些是苹果。那么现在，让你总结一下哪些是苹果？ 1）苹果都是圆的。我们发现，有些苹果不是圆的、有些水果是圆的但不是苹果， 2）其中到这些违反“苹果都是圆的”这一规则的图片，我们得到“苹果都是圆的，可能是红色或者绿色”。。我们发现还是有些图片违反这一规则； 3）其中到违反规则的... ...
分类：
其他好文 时间：
2016-05-23 16:44:09
阅读次数：
159
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。 上图（图片 ...
分类：
其他好文 时间：
2016-05-16 10:37:53
阅读次数：
254
Jackknife，Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting 这些术语，我经常搞混淆，现在把它们放在一起，以示区别。(部分文字来自网络，由于是之前记的笔记，忘记来源了，特此向作者抱歉） ...
分类：
其他好文 时间：
2016-05-13 17:04:00
阅读次数：
182
GBDT 全称为 Gradient Boosting Decision Tree。
顾名思义,它是一种基于决策树(decision tree)实现的分类回归算法。
不难发现,GBDT 有两部分组成: gradient boosting, decision tree。
Boosting 作为一种模型组合方式,与gradient descent 有很深的渊源,它们之间究竟有什么关系?...
分类：
其他好文 时间：
2016-05-06 16:18:52
阅读次数：
341
提升(boosting)方法是一种常用的统计学习方法。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。提升方法Adaboost算法
提升方法基本思路
AdaBoost算法
Adaboost的例子
Adaboost算法的训练误差分析
Adaboost算法的解释
前向分步算法
前向分步算法与AdaBoost
提升树
提升树算法
梯度提升Valiant是哈...
分类：
其他好文 时间：
2016-04-29 17:17:42
阅读次数：
311
已经好久没写了，正好最近需要做分享所以上来写两篇，这篇是关于决策树的，下一篇是填之前SVM的坑的。 参考文献： ...
分类：
其他好文 时间：
2016-04-27 20:25:19
阅读次数：
393
作为集成学习的二个方法，其实bagging和boosting的实现比较容易理解，但是理论证明比较费力。下面首先介绍这两种方法。
所谓的集成学习，就是用多重或多个弱分类器结合为一个强分类器，从而达到提升分类方法效果。严格来说，集成学习并不算是一种分类器，而是一种分类器结合的方法。
1.bagging
bagging算是很基础的集成学习的方法，他的提出是为了增强分类器效果，但是在处理不平衡问题上...
分类：
其他好文 时间：
2016-04-26 22:09:00
阅读次数：
161
本文主要是介绍自适应提升学习算法（Adaptive Boosting,Adaboost）原理，因为其中涉及到分类器，而分类器往往是基于一些样本特征得到的，所以在此介绍最常用的Adaboost算法结合Haar-like特征。该算法首先在人脸检测中得到广泛运用，而后也被用于其它有关目标检测中。 1.Ad ...
分类：
编程语言 时间：
2016-04-21 01:33:12
阅读次数：
526
