决策树的优势就在于数据形式非常容易理解，而kNN的最大缺点就是无法给出数据的内在含义。
1：简单概念描述
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
事件ai发生的概率用p(ai...
分类：
其他好文 时间：
2014-07-21 22:21:08
阅读次数：
360
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 决策书算法是一种逼近离散数值的分类算法，思路比較简单，并且准确率较高。国际权威的学术组织，数据挖掘国际会议ICDM （the IEEE International Conference on Da...
分类：
编程语言 时间：
2014-06-26 22:33:33
阅读次数：
410
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景
接着上一节说，没看到请先看一下上一节关于数据集的划分数据集划分。如今我们得到了每一个特征值得信息熵增益，我们依照信息熵增益的从大到校的顺序，安排排列为二叉树的节点。数据集和二叉树的图见下。（二叉树的图是....
分类：
编程语言 时间：
2014-06-03 07:23:48
阅读次数：
325
