码迷,mamicode.com
首页 > 其他好文 > 详细

决策树归纳算法解析之ID3

时间:2014-07-16 19:28:14      阅读:4453      评论:0      收藏:0      [点我收藏+]

标签:style   blog   http   color   使用   strong   

学习是一个循序渐进的过程,我们首先来认识一下,什么是决策树。顾名思义,决策树就是拿来对一个事物做决策,作判断。那如何判断呢?凭什么判断呢?都是值得我们去思考的问题。

请看以下两个简单例子:

第一个例子

现想象一个女孩的母亲要给自己家的闺女介绍男朋友,女孩儿通过对方的一些情况来考虑要不要去,于是有了下面的对话:

      女儿:多大年纪了?
      母亲:26。
      女儿:长的帅不帅?
      母亲:挺帅的。
      女儿:收入高不?
      母亲:不算很高,中等情况。
      女儿:是公务员不?
      母亲:是,在税务局上班呢。
      女儿:那好,我去见见。

      这个女孩的决策过程就是典型的分类树决策。相当于通过年龄、长相、收入和是否公务员对将男人分为两个类别:见和不见。假设这个女孩对男人的要求是:30岁以下、长相中等以上并且是高收入者或中等以上收入的公务员,那么这个可以用下图表示女孩的决策逻辑

     bubuko.com,布布扣 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

                 

 图1

第二个例子

    此例子来自Tom M.Mitchell著的机器学习一书:

    小王的目的是通过下周天气预报寻找什么时候人们会打高尔夫,他了解到人们决定是否打球的原因最主要取决于天气情况。而天气状况有晴,云和雨;气温用华氏温度表示;相对湿度用百分比;还有有无风。如此,我们便可以构造一棵决策树,如下(根据天气这个分类决策这天是否合适打网球):

bubuko.com,布布扣

                                       图2

上述决策树对应于以下表达式:

(Outlook=Sunny ^Humidity<=70)V (Outlook = Overcast)V (Outlook=Rain ^ Wind=Weak)

 

       看完两个例子之后,给出决策树的定义:一种类似于流程图的树结构,其中,

每个非叶子结点表示在一个属性上的测试;

每个分支代表该测试的一个输出;

每个叶子结点代表一个类标号。

看到这里,心里应该大概有了一个决策树的样子了。然后,引出两个问题:

1:如何使用决策树分类?

       怎么用?那是很简单的,给定一个元组,我从决策树的根开始,一一地找到一条从根到叶子结点符合条件的路径,那么叶子结点上保存的类预测就是我们想要的答案。因此,决策树容易转换成一种分类规则(把某个类分到哪一条路径上去)。

2:为什么决策树分类器如此流行?

       1:决策树的构造不需要任何领域知识或参数设置,因此适合于探测式知识发现;

       2:决策树可以处理高维数据;

       3:决策树的表现形式直观,容易被理解;

       4:一般来说,决策树分类器具有很好地准确率;


 

有了以上简单的预备知识,相信你已经迫不及待地想去构造一棵决策树玩玩了。那么,问题来了,怎么去构造这棵美丽的树呢?

很显然,有些东西我们可以猜想一下:

       1、既然他是一棵树,如果要构造他,一定要从根开始构造吧?!没有根的存在其他的结点毫无意义,因此,决策树的构造将会是一个自顶向下的过程(根在最顶部);

       2、当我们要向下进行延拓这棵树,那么每一次选择属性进行延拓的过程就是一个递归的过程,至于选择哪一个属性用来延拓,我们一定会学习到相应地度量方法。

 

下面,为大家隆重推出两个方法(算法)来解决这个问题。他们就是ID3和C4.5。因为C4.5算法是ID3算法的改进版,因此,首先来介绍一下ID3是怎么回事。

 

打开维基百科:

ID3算法(Iterative Dichotomiser 3 迭代二叉树3代)是一个由Ross Quinlan发明的用于决策树算法

这个算法是建立在奥卡姆剃刀的基础上:越是小型的决策树越优于大的决策树(简单理论)。尽管如此,该算法也不是总是生成最小的树形结构。而是一个启发式算法。奥卡姆剃刀阐述了一个信息熵的概念:

 bubuko.com,布布扣

这个ID3算法可以归纳为以下几点:

  1. 使用所有没有使用的属性并计算与之相关的样本熵值
  2. 选取其中熵值最小的属性
  3. 生成包含该属性的节点
 
 

看到这里,心里差不多对ID3有点感觉了。下面,引用一个网上的关于ID3思想的总结:

  1. 自顶向下的贪婪搜索遍历可能的决策树空间构造决策树(此方法是ID3算法和C4.5算法的基础);
  2. 从“哪一个属性将在树的根节点被测试”开始;
  3. 使用统计测试来确定每一个实例属性单独分类训练样例的能力,分类能力最好的属性作为树的根结点测试(如何定义或者评判一个属性是分类能力最好的呢?这便是下文将要介绍的信息增益,or 信息增益率)。
  4. 然后为根结点属性的每个可能值产生一个分支,并把训练样例排列到适当的分支(也就是说,样例的该属性值对应的分支)之下。
  5. 重复这个过程,用每个分支结点关联的训练样例来选取在该点被测试的最佳属性。

bubuko.com,布布扣

 

在大概了解了ID3是如何构造决策树之后,我们来对仍不太清楚的环节进行讨论。

 

a:在构造决策树的过程中,如何判断哪个属性是最佳属性,即我们要用哪个属性进行延拓决策树?

       显然,这是一个属性相互PK的过程,谁输谁赢,要有一个评判的标准,专业名称就是属性选择度量。一般有三种常用的属性选择度量——信息增益(ID3),增益率(C4.5)和基尼指数(Gini指数,CART)。ID3使用信息增益作为属性选择度量,因此,本文只讲信息增益。他是由香农在研究消息的值或“信息内容”的信息论中提出来的。设结点N代表或存放分区D的元组。选择具有最高信息的属性作为结点N的分裂属性。该属性使结果分区中对元组分类所需要的信息量最小,并反映这些分区中的最小随机性或“不纯性”。这种方法使得对一个对象分类所需要的期望测试数目最小,并确保找到一棵简单的树(还记得“奥卡姆剃刀”么?)。

 bubuko.com,布布扣
bubuko.com,布布扣

(因为书上讲的足够详细,且并不晦涩。所以,在次引用书本上的内容。)

 

下面作一些补充:

在信息增益中,衡量标准是看特征能够为分类系统带来多少信息,带来的信息越多,该特征越重要。对一个特征而言,系统有它和没它时信息量将发生变化,而前后信息量的差值就是这个特征给系统带来的信息量。所谓信息量,就是熵。

因此,我们在计算出每个属性的Gain()值之后,要挑最大的!

既然已经了解了熵以及信息增益的概念与计算方法。我们就拿一个例子来练练手吧。

eg:bubuko.com,布布扣

问题描述:根据以上表中的信息,得到一棵预测顾客是否会购买电脑的决策树。

步骤:

      1、计算Info(buy_computer);

buy_computer是离散的(这个例子中所有的属性都是离散的,如果是连续的,可以对其进行离散化)

       表中可以看出,类no对应5个元组,类yes对应9个元组。

故得:

 bubuko.com,布布扣

       2、计算其余每个属性的期望信息需求。

age的熵:

 bubuko.com,布布扣

     age的信息增益:

bubuko.com,布布扣      

 

 

显然,age在属性中具有最高的信息增益,所以它被选作分裂属性。

得到:

bubuko.com,布布扣

接下来,我们要做的事情就是递归下去。也就是把问题分为了3个子问题进行求解。

决策树归纳算法解析之ID3,布布扣,bubuko.com

决策树归纳算法解析之ID3

标签:style   blog   http   color   使用   strong   

原文地址:http://www.cnblogs.com/XBWer/p/3841326.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!