一、基本概念 GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。 GBDT通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。 弱分类器一般会选择为CART TREE（也就是分类回归树）。 每一轮预测和实际值有残差，下 ...
分类：
其他好文 时间：
2020-03-12 17:13:44
阅读次数：
71
一、概念 CART全称叫Classification and Regression Tree。首先要强调的是CART假设决策树是二叉树，内部结点特征的取值只有“是”和“否”，左分支是取值为“是”的分支，有分支则相反。这样的决策树等价于递归地二分每个特征。 二、CART生成 决策树的生成就是递归地构建 ...
分类：
其他好文 时间：
2020-03-05 19:18:12
阅读次数：
343
1.概述 回归树就是用树模型做回归问题，每一片叶子都输出一个预测值。预测值一般是该片叶子所含训练集元素输出的均值， 即 𝑐𝑚=𝑎𝑣𝑒(𝑦𝑖|𝑥𝑖∈𝑙𝑒𝑎𝑓𝑚)cm=ave(yi|xi∈leafm)。 2.构建过程 回归树采用平方和损失函数 每次选择一个切分变量j和切分点s ...
分类：
其他好文 时间：
2020-02-19 23:46:37
阅读次数：
75
CART算法 原理 CART全称为Classification and Regression Tree。 回归树 相比ID3，CART遍历所有的特征和特征值，然后使用二元切分法划分数据子集，也就是每个节点都只会分裂2个分支。接着计算数据子集的总方差来度量数据子集的混乱程度，总方差越小数据子集越纯，最 ...
分类：
其他好文 时间：
2020-01-07 18:03:09
阅读次数：
183
特点： 是一个二叉树，元素可以重复利用，可以做回归也可以做分类，分类用最小二乘法，即误差平方和最小 切割方法： 对于可量化的x来说： 切割点通常为两个x的平均值 左右两部分分别取均值，再评判以哪个分割点的误差平方和最小，即第一层根节点为此点 以此为规则，往下迭代，构建出回归树 对于不可量化的x来说： ...
分类：
编程语言 时间：
2019-12-27 12:03:23
阅读次数：
126
讲授决策树的基本概念，分类与回归树的原理，决策树的表示能力，决策树的训练算法，寻找最佳分裂的原理，叶子节点值的标记，属性缺失与替 代分裂，决策树的剪枝算法，决策树应用。 非常直观和易于理解的机器学习算法，最符合人的直观思维，因为生活中很多时候做决策就是用这种树状结构做决定的。 大纲： 基本概念分类与 ...
分类：
其他好文 时间：
2019-11-13 10:45:12
阅读次数：
102
[TOC]更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblogs.com/nickchen121/# 提升树提升树(boosting tree)是以分类树或回归树作为弱学习器的强学习器。提升树模型用的是加法模型，算... ...
分类：
其他好文 时间：
2019-10-16 17:40:32
阅读次数：
106
1. CART分类树算法的最优特征选择方法 2. CART分类树算法对于连续特征和离散特征处理的改进 3. CART分类树建立算法的具体流程 4. CART回归树建立算法 5. CART树算法的剪枝 6. CART算法小结 7. 决策树算法小结在决策树算法原理(上)这篇里，我们讲到了决策树里ID3算... ...
分类：
编程语言 时间：
2019-10-01 14:37:01
阅读次数：
122
一、流程 基函数线性加权和得到最终的强分类器。每轮迭代得到一个弱分类器，这个分类器是在上一轮的残差基础上得到的。本轮就是要找一个cart树，使得本轮的损失函数值更加的小。 二、如何选择特征（就是如何生成cart树） 回归树：平方误差和最小化，对于特征A=a时，集合D的误差最小时，就选择这个特征值最为 ...
分类：
其他好文 时间：
2019-08-11 23:24:44
阅读次数：
94
提升树 (Boosting Trees) 提升树是以分类树或回归树为基本分类器的提升方法, 模型表示为决策树的加法模型: $$ F_M(x) = \sum_{m=0}^M f(x;\Theta_m), $$ 其中 $M$ 为树的个数, $f(x;\Theta_m)$ 表示决策树, $\Theta_m ...
分类：
其他好文 时间：
2019-06-16 00:35:56
阅读次数：
190
