ID3是数据挖掘分类中的一种（是一种if-then的模式），其中运用到熵的概念，表示随机变量不确定性的度量H（x）=-∑pi *log pi信息增益是指特征A对训练数据集D的信息增益g（D，A），定义为集合D的经验熵H（D）与特征A给定条件下D的经验条件熵H（D|A）之差g（D，A）=H（D）-H（...
分类：
其他好文 时间：
2015-03-19 23:25:45
阅读次数：
155
一：基础知识1：个体信息量 -long2pi2：平均信息量（熵） Info(D)=-Σi=1...n(pilog2pi) 比如我们将一个立方体A抛向空中，记落地时着地的面为f1，f1的取值为{1,2,3,4,5,6}，f1的熵entropy(f1)=-(1/6*log(1/6)+...+1/6...
分类：
其他好文 时间：
2015-03-02 23:51:58
阅读次数：
201
决策树就是不断选择信息增益最大的属性，进行分类。
核心部分是使用信息增益判断属性的分类性能。信息增益计算如下：
信息熵：
允许有多个类别。
计算所有属性的信息增益，选择最大的作为决策树的根节点。然后，样本分枝，继续判断剩余的属性的信息增益。
信息增益有缺点：信息增益偏袒具有较多值的属性。分裂信息，用增益比率作为衡量标准，如下：
决策树...
分类：
编程语言 时间：
2015-03-02 13:12:55
阅读次数：
346
C4.5是机器学习算法中的另一个分类决策树算法，它是基于ID3算法进行改进后的一种重要算法，相比于ID3算法，改进有如下几个要点：用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵（entropy， 熵是一种不纯度度量准则），也就是熵的变化值，...
分类：
其他好文 时间：
2015-02-06 14:52:18
阅读次数：
254
http://www.blogjava.net/zhenandaci/archive/2009/03/24/261701.html前文提到过，除了开方检验（CHI）以外，信息增益（IG，Information Gain）也是很有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选...
分类：
其他好文 时间：
2015-02-04 20:05:04
阅读次数：
277
（1）C4.5算法的特点为：输入变量（自变量）：为分类型变量或连续型变量。输出变量（模板变量）：为分类型变量。连续变量处理：N等分离散化。树分枝类型：多分枝。分裂指标：信息增益比率gain ratio（分裂后的目标变量取值变异较小，纯度高）前剪枝：叶节点数是否小于某一阈值。后剪枝：使用置信度法和减少...
分类：
其他好文 时间：
2015-02-04 14:28:37
阅读次数：
463
ID3使用信息增益作为属性选择度量。该度量基于香农在研究消息的值或”信息内容“的信息论方面的先驱工作。该结点N代表或存放分区D的元组。选择具有最高信息增益的属性作为结点N的分裂属性。该属性使结果分区中对元祖分类所需要的信息量最小，并反映这些分区中的最小随机性或”不纯性“。这种方法使得对一个对象分类所需要的期望测试数目最小，并确保找到一颗简单的（但不必是最简单的）树。...
分类：
编程语言 时间：
2014-12-31 11:22:42
阅读次数：
147
理解随机森林
随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别。下面我们再详细说一下随机森林是如何构建的。
随机森林主要包括4个部分：随机选择样本；随机选择特征；构建决策树；随机森林投票分类。...
分类：
其他好文 时间：
2014-12-11 14:11:30
阅读次数：
235
机器学习问题方法总结大类名称关键词有监督分类决策树信息增益分类回归树Gini指数，Χ2统计量，剪枝朴素贝叶斯非参数估计，贝叶斯估计线性判别分析Fishre判别，特征向量求解K最邻近相似度度量：欧氏距离、街区距离、编辑距离、向量夹角、Pearson相关系数逻辑斯谛回归（二值分类）参数估计（极大似然估计...
分类：
其他好文 时间：
2014-11-27 12:34:58
阅读次数：
369
前文提到过，除了开方检验（CHI）以外，信息增益（IG，Information Gain）也是非常有效的特征选择方法。但凡是特征选择，总是在将特征的重要程度量化之后再进行选择，而怎样量化特征的重要性，就成了各种方法间最大的不同。开方检验中使用特征与类别间的关联性来进行这个量化，关联性越强，特征得分越...
分类：
其他好文 时间：
2014-10-30 18:33:54
阅读次数：
130
