一、为什么有CART回归树 以前学过全局回归，顾名思义，就是指全部数据符合某种曲线。比如线性回归，多项式拟合（泰勒）等等。可是这些数学规律多强，硬硬地将全部数据逼近一些特殊的曲线。生活中的数据可是千变万化。那么，局部回归是一种合理地选择。在斯坦福大学NG的公开课中，他也提到局部回归的好处。其中，C....
分类：
其他好文 时间：
2015-07-23 13:47:10
阅读次数：
165
CART:分类回归树分类树和回归树的区别：分裂节点时使用的节点非纯度量（最小化准则、特征选择）不一样，修剪树的准则不一样分类树： 节点非纯度量：平方误差和 区域估计值：均值（在给定的划分下，均值带来的平方误差和最小）回归树： 节点非纯度量：误分类误差、Gini指数、熵 区域估计值：多数类G...
分类：
其他好文 时间：
2015-07-15 01:10:41
阅读次数：
338
icvInitCARTHaarClassifier
*初始化分类回归树haar分类器函数
*作用：把括号里的参数进行传递，也就是把后两个参数都传递给第一个参数
*具体来说就是，首先把intHaarFeatures 的特征按照cart中compidx[i]的顺序传递给carthaar（包括haar特征和快速haar特征）；
*然后，再把cart中的参数传递给carthaar。...
分类：
其他好文 时间：
2015-06-26 16:24:06
阅读次数：
206
本实验的目的是学习和掌握分类回归树(CART)算法。CART提供一种通用的树生长框架，它可以实例化为各种各样不同的判定树。CART算法采用一种二分递归分割的技术，将当前的样本集分为两个子样本集，使得生成的决策树的每个非叶子节点都有两个分支。因此，CART算法生成的决策树是结构简洁的二叉树。在MATLAB平台上编写程序，实现了非剪枝完全二叉树的创建、应用以及近似剪枝操作。...
分类：
其他好文 时间：
2015-06-19 20:19:39
阅读次数：
1244
提升树是以分类树或回归树为基本分类器的提升方法 提升树被认为是统计学习中性能最好的方法之一 提升方法实际采用加法模型（基函数的线性组合）与前向分步算法 以决策树为基函数的提升方法称为提升树 对分类问题决策树是二叉分类树 对回归问题决策树是二叉回归树 提升树模型可以表示为决策树的加法模型： T(x;Θ...
分类：
其他好文 时间：
2015-06-13 22:58:53
阅读次数：
159
CART算法原理与理解
CART算法的全称是分类回归树算法，分类即划分离散变量；回归划分连续变量。他与C4.5很相似，但是一个二元分类，采用的是类似于熵的GINI指数作为分类决策，形成决策树之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法。
GINI指数
GINI指数主要是度量数据划分或训练数据集D的不纯度为主，系数值的属性作为测试属性，GINI值越小，表明样本的纯净度越高...
分类：
编程语言 时间：
2015-04-01 22:02:53
阅读次数：
324
上一篇中我们讲到了GBDT算法的第一个版本，是基于残差的学习思路。今天来说第二个版本，可以说这个版本的比较复杂，涉及到一些推导和矩阵论知识。但是，我们今天可以看到，两个版本之间的联系，这个是学习算法的一个重要步骤。这篇博文主要从下面这几个方面来说基于梯度的GBDT算法：
（1）算法的基本步骤；
（2）其中的学数学推导；
（3）基于梯度的版本和基于残差的版本之间的联系；在讲解算法的详细步骤之前，...
分类：
编程语言 时间：
2015-03-31 18:15:53
阅读次数：
2069
GBDT算法有两种描述思路，一个是基于残差的版本，一个是基于梯度gradient的版本。这篇我们先说说基于残差的版本。前面一篇博文已经说了该版本的大致原理，请参考。
http://blog.csdn.net/puqutogether/article/details/41957089这篇我们再总结一个几个注意点：
这个版本的核心思路：每个回归树学习前面树的残差，并且用shrinkage把学习到的结果...
分类：
编程语言 时间：
2015-03-30 18:55:08
阅读次数：
309
GBDT可以看做是由多棵回归树组成的，所以要理解GBDT，就要先理解回归树。回归树也是为了做预测，只是将特征空间划分成了若干个区域，在每个区域里进行预测。...
分类：
其他好文 时间：
2015-03-17 22:00:10
阅读次数：
312
这里以二元分类为例子，给出最基本原理的解释 GBDT 是多棵树的输出预测值的累加 GBDT的树都是 回归树 而不是分类树 分类树 分裂的时候选取使得误差下降最多的分裂 计算的技巧 最终分裂收益按照下面的方式计算，注意圆圈内的部分是固定值 GBDT 二分类 GBDT在实现中可以完全复用上面的计算方法框...
分类：
其他好文 时间：
2015-03-09 22:17:55
阅读次数：
1493
