一、决策树 决策树（decision tree）是一种基本的分类与回归方法，本篇主要讨论用于分类的决策树。 1.决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型：内部结点（internal node）和叶 ...
分类：
其他好文 时间：
2019-01-17 13:57:10
阅读次数：
231
from sklearn import tree from sklearn.datasets.california_housing import fetch_california_housing housing = fetch_california_housing() dtr = tree.Deci ...
分类：
其他好文 时间：
2019-01-17 10:18:12
阅读次数：
262
决策树 概述决策树（Decision Tree）算法是一种基本的分类与回归方法，是最经常使用的数据挖掘算法之一。我们这章节只讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是 if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件... ...
分类：
其他好文 时间：
2019-01-16 23:22:15
阅读次数：
244
[TOC] xgboost xgboost是一个监督模型，它对应的模型就是一堆CART树，即由CART树组成的随机森林。预测的最终结果是由随机森林中的所有CART树的预测分数相加。 总而言之xgboost的想要解决的问题是通过前t 1棵的预测值加和我们是否能算出第t棵树的最优预测值？ CART(Cl ...
分类：
其他好文 时间：
2019-01-16 15:02:16
阅读次数：
216
多分类问题优先选择SVM，随机森林，其次是逻辑回归。 朴素贝叶斯和线性回归都是比较简单的模型，对于数据的要求比较高，功能不是特别强大。 1、决策树 不需要对数据做任何预处理， 2、随机森林 3、数据预处理与特征工程 （1）数据预处理：只需要X 数据无量钢化：标准化(转化为正态分布)、归一化(不改变数 ...
分类：
编程语言 时间：
2019-01-13 16:08:38
阅读次数：
312
1、算法介绍决策树是一种基本的分类和回归方法，决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的修剪。决策树的本质是从训练数据集中归纳出一组分类规则。本文主要是对决策树的ID3算法的介绍，后文会介绍C4.5和CART算法。2、算法优缺点优点：计算复杂度不高，结果易于理解，对于中间值的缺失不敏感，可以处理不相关特征。缺点
分类：
其他好文 时间：
2019-01-13 00:25:16
阅读次数：
191
一、从LR到决策树 1.总体流程与核心问题 (1)决策树是基于树的结构进行决策： 每个“内部节点”对应于某个属性上的“测试” 每个分支对应于该测试的一种可能结果(即该属性上的每个取值) 每个叶节点对应于一个预测结果 (2)学习过程：通过对训练样本的分析来确定“划分属性”(即内部节点所对应的属性) ( ...
分类：
其他好文 时间：
2019-01-12 13:14:55
阅读次数：
202
决策树 前言 决策树是一种基本的分类和回归算法，书中主要是讨论了分类的决策树。决策树在每一个结点分支规则是一种if then规则，即满足某种条件就继续搜索左子树，不符合就去右子树，看起来是用二叉树实现对吧，实际的CART决策树就是二叉树，等会再介绍。现在先来看看决策树的理论部分。代码地址 "http ...
分类：
其他好文 时间：
2019-01-12 12:04:19
阅读次数：
237
Apache Spark中的决策树 决策树是在顺序决策问题进行分类，预测和促进决策的有效方法。决策树由两部分组成： 决策(Desion) 结果(Outcome) 决策树包含三种类型的节点： 根节点(Root node)：包含所有数据的树的顶层节点。 分割节点(Splitting node)：将数据分 ...
分类：
Web程序 时间：
2019-01-11 23:23:51
阅读次数：
436
GBDT又叫梯度提升决策树，它也属于Boosting框架。GBDT核心原理如下： 如图所示，用GBDT预测年龄，第一轮，预测到年龄为20，它和真实值之间的残差为10，第二轮，GBDT开始预测上一轮的残差10，预测结果为6，这一轮 的残差为4，第三轮，以年龄4为预测目标，预测来的值为3，和真实值之间相 ...
分类：
编程语言 时间：
2019-01-11 15:13:33
阅读次数：
288
