码迷,mamicode.com
首页 > 编程语言 > 详细

机器学习二——分类算法--决策树DecisionTree

时间:2017-12-21 00:19:47      阅读:166      评论:0      收藏:0      [点我收藏+]

标签:分享图片   com   分布   image   http   判断   等于   学习二   col   

技术分享图片

机器学习算法评估标准:准确率,速度,强壮性(噪音影响较小),可规模性,可解释性。

1、决策树  Decision Tree:决策树是一个类似于流程图的树结构,其中每个内部节点表示在一个属性上的测试,每一个分支代表一个属性输出,每一个树叶节点代表类(label)或类的分布。树的最顶层是根节点。

技术分享图片                                                                             技术分享图片

 

 

2、信息熵:发生一件事情的不确定性越大,我们需要的信息量越大,信息熵也就越大。信息量的度量就等于不确定性的多少。

    用bit表示信息量的多少H = -∑P(x)logP(x)

决策树归纳算法通过信息熵计算选择属性判断节点:

    信息获取量(Information Gain)   Gain(A)=Info(D)-Info_A(D)

    通过属性A获取的信息量=没有属性A时所需信息量-有属性A时所需信息量

    技术分享图片

 

      技术分享图片

      技术分享图片

通过比较每一个节点的Gain信息获取量,来确定哪个属性作为判断节点。

3、算法 

 

机器学习二——分类算法--决策树DecisionTree

标签:分享图片   com   分布   image   http   判断   等于   学习二   col   

原文地址:http://www.cnblogs.com/daacheng/p/8076299.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!