返回目录
上一篇：k-近邻算法
1. 简单理论介绍
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
1.1 熵
设D为用类别对训练集进行的划分，则D的熵（entropy）表示为：...
分类：
其他好文 时间：
2016-05-16 09:33:49
阅读次数：
284
一 ID3算法的大致思想 基本的ID3算法是通过自顶向下构造决策树来进行学习的。我们首先思考的是树的构造从哪里开始，这就涉及到选择属性进行树的构造了，那么怎样选择属性呢？为了解决这个问题，我们使用统计测试来确定每一个实例属性单独分类训练样例的能力，把分类能力最好的属性作为树根节点的测试。然后为根节点 ...
分类：
编程语言 时间：
2016-05-14 18:48:12
阅读次数：
262
决策树decision tree 什么是决策树输入：学习集输出：分类觃则（决策树） 决策树算法概述 70年代后期至80年代初期，Quinlan开发了ID3算法（迭代的二分器）Quinlan改迚了ID3算法，称为C4.5算法1984年，多位统计学家在著名的《Classification and reg ...
分类：
编程语言 时间：
2016-04-23 19:58:10
阅读次数：
1522
决策树是应用最广的归纳推理算法之一，它是一种逼近离散函数方法，对噪声数据有很好的鲁棒性，能够学习析取表达式，广为应用的算法有ID3，ASSISTANT和C4.5。通常决策树代表实例属性值约束的合取（conjunction）的析取式（disjunction）。树根到树叶的每一条路径对应一组属性测试的合取，而整棵树是这些合取的析取。基本的ID3算法是通过自顶向下构造决策树进行学习的。首先考虑的问题是哪一...
分类：
其他好文 时间：
2016-04-10 14:38:09
阅读次数：
258
5.3决策树的生成
5.3.1 ID3算法
ID3算法的核心实在决策树个国际电商应用信息增益准则选择特征，递归的构建决策树。
具体方法：从根结点（root node）开始，对接点计算所有可能的特征信息增益，选择信息增益最大的特征最为节点的的特征（注意：信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度，而我们进行特征选择在于选取对训练数...
分类：
其他好文 时间：
2016-03-29 13:05:24
阅读次数：
217
决策树是一种树状结构，它的每一个叶节点对应一个分类，非叶节点对应在某个属性上的划分，根据样本在该属性上的不同取值将其划分为若干子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行划分。 ID3算法 1、对当前样本集合计算所有属性的信息增益。 2、选择信息增益最大的属性作为测试属性，把测试
分类：
编程语言 时间：
2016-03-07 23:53:17
阅读次数：
170
ID3算法 ID3算法是J. Ross Quinlan在1975提出的分类预测算法。该算法的核心是“信息熵”。 信息熵就是一组数据包含的信息，概率的度量。一组数据越有序信息熵也就越低，极端时如果一组数据中只有一个非0，其它都是0，那么熵等于0，因为只有可能是这个非0的情况发生，它给人们的信息已经确定
分类：
编程语言 时间：
2016-03-07 10:15:46
阅读次数：
208
这里使用ID3算法构造决策树，引用http://my.oschina.net/dfsj66011/blog/343647的内容。 outlook temperature humidity windy play sunny hot high false no sunny hot high true n
分类：
其他好文 时间：
2016-03-01 14:31:16
阅读次数：
167
if-then规则的集合，优点是模型具有可读性，分类速度快。决策树常用的算法：ID3算法、C4.5算法、CART算法1、熵（entropy，又称信息熵）因此，熵只依赖于X的分布，与X的取值无关。熵越大，随机变量X的不确定性就越大。如果有0概率，令。单位为比特(bit)或纳特(Nat)2、条件熵——表...
分类：
编程语言 时间：
2015-12-29 12:41:50
阅读次数：
184
一，C4.5算法是基于ID3算法的改进（优点） 对连续的数据也能处理 可以在决策树构造过程中进行剪枝，因为某些具有很少元素的结点可能会使构造的决策树过拟合（Overfitting），如果不考虑这些结点可能会更好 能够对不完整数据进行处理。 用信息增益率来进行属性选择的度量 二，算法流程 三，属性选择...
分类：
编程语言 时间：
2015-11-19 18:59:33
阅读次数：
288
