标签：个人   jpg   row   title   font   core   str   normal   影响   

决策树分类

1，概念

2，决策树算法

2.1，特征选择：

　　熵：值越大，不确定性因素越大；条件熵：条件对结果的影响不确定性；信息增益；信息增益比

2.2，决策树生成算法

　　1，ID3算法

　　2，c4.5算法

3，实例说明

4，CART决策树算法

4.1 决策树生成

　　回归树生成

　　分类树生成

　　　举个例子：

 　　　　第一种划分方法：{“学生”}、{“老师”、“上班族”} 来预测婚姻

　　　　第二种划分方法：{“老师”}、{“学生”、“上班族”}

　　　　第三种划分方法：{“上班族”}、{“学生”、“老师”}

4.2，决策树剪枝

　　　　例如：图1中ti表示决策树中第i个节点，A、B表示训练集中的两个类别，A、B之后的数据表示落入该节点分别属于A类、B类的样本个数。 

5，决策树算法比较

6，总结

　　个人认为算法通过使用训练集构建一个决策树后，获得一系列的规则，输入测试集后，按照规则获取到叶节点，然后根据叶节点最大占有比的那个类为该测试集所属的类，从而达到分类效果

参考网址：

　　1，cart例子

　　2，剪枝例子

　　3，决策树比较

统计学习方法五 决策树分类

标签：个人   jpg   row   title   font   core   str   normal   影响   

原文地址：http://www.cnblogs.com/ksWorld/p/7468068.html