这几天完成了树回归的相关学习，这一部分内容挺多，收获也挺多，刚刚终于完成了全部内容，非常开心。
树回归这一章涉及了CART，CART树称作(classify and regression tree) 分类与回归树，既可以用于分类，也可以用于回归。这正是前面决策树没有说到的内容，在这里补充一下。正好也总结一下我们学的3种决策树。
ID3：用信息增益来选择特性进行分类，只能处理分类问题。缺点是往往...
分类：
其他好文 时间：
2016-04-09 00:23:43
阅读次数：
323
5.3决策树的生成
5.3.1 ID3算法
ID3算法的核心实在决策树个国际电商应用信息增益准则选择特征，递归的构建决策树。
具体方法：从根结点（root node）开始，对接点计算所有可能的特征信息增益，选择信息增益最大的特征最为节点的的特征（注意：信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度，而我们进行特征选择在于选取对训练数...
分类：
其他好文 时间：
2016-03-29 13:05:24
阅读次数：
217
决策树是一种树状结构，它的每一个叶节点对应一个分类，非叶节点对应在某个属性上的划分，根据样本在该属性上的不同取值将其划分为若干子集。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行划分。 ID3算法 1、对当前样本集合计算所有属性的信息增益。 2、选择信息增益最大的属性作为测试属性，把测试
分类：
编程语言 时间：
2016-03-07 23:53:17
阅读次数：
170
ID3算法 ID3算法是J. Ross Quinlan在1975提出的分类预测算法。该算法的核心是“信息熵”。 信息熵就是一组数据包含的信息，概率的度量。一组数据越有序信息熵也就越低，极端时如果一组数据中只有一个非0，其它都是0，那么熵等于0，因为只有可能是这个非0的情况发生，它给人们的信息已经确定
分类：
编程语言 时间：
2016-03-07 10:15:46
阅读次数：
208
这里使用ID3算法构造决策树，引用http://my.oschina.net/dfsj66011/blog/343647的内容。 outlook temperature humidity windy play sunny hot high false no sunny hot high true n
分类：
其他好文 时间：
2016-03-01 14:31:16
阅读次数：
167
摘要：说到分类树，第一个想到的算法肯定是C4.5，作为数据挖掘的十大算法之一，C4.5在ID3的基础上，从分裂的依据、数据的处理以及剪枝三个方面进行了优化，实现更加精准的预测和分类，本文将主要才能够上述三个方面对C4.5进行阐述，并给出C4.5的源代码。
分类：
其他好文 时间：
2016-01-12 22:54:32
阅读次数：
342
转自：http://blog.csdn.net/u011750989/article/details/12004065输入:日期 ...cookie id. ...商品id..xx xx xx输出:商品id 商品id列表(按优先级排序,用逗号分隔)xx xx比如:id1 id3,id0,id4,id...
分类：
其他好文 时间：
2016-01-05 22:44:16
阅读次数：
342
if-then规则的集合，优点是模型具有可读性，分类速度快。决策树常用的算法：ID3算法、C4.5算法、CART算法1、熵（entropy，又称信息熵）因此，熵只依赖于X的分布，与X的取值无关。熵越大，随机变量X的不确定性就越大。如果有0概率，令。单位为比特(bit)或纳特(Nat)2、条件熵——表...
分类：
编程语言 时间：
2015-12-29 12:41:50
阅读次数：
184
的优点是，在一个决策树的形式数据是easy理解。和kNN最大的缺点是数据的内在含义，不能给予。1：这个概念很简单文字说明 决策树的类型有非常多。有CART、ID3和C4.5等。当中CART是基于基尼不纯度(Gini)的。这里不做具体解释，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样...
分类：
其他好文 时间：
2015-12-14 16:18:08
阅读次数：
204
方法1、设置浮动，使文档脱离文档流，注意层的顺序.view{ height: 200px; background: #ccc;}#id1{float:left; width:200px;}#id2{float:right; width:200px;}#id3{background:red;}1、{f...
分类：
其他好文 时间：
2015-12-12 13:57:07
阅读次数：
141
