在文本分类中，需要先对文本分词，原始的文本中可能由几十万个中文词条组成，维度非常高。另外，为了提高文本分类的准确性和效率，一般先剔除决策意义不大的词语，这就是特征词提取的目的。本文将简单介绍几种文本特征词提取算法。信息增益（IG）对于一个系统，其信息熵为\(H(S)=-\sum_{i}^{C}P_i...
分类：
编程语言 时间：
2015-12-04 06:27:53
阅读次数：
214
一，C4.5算法是基于ID3算法的改进（优点） 对连续的数据也能处理 可以在决策树构造过程中进行剪枝，因为某些具有很少元素的结点可能会使构造的决策树过拟合（Overfitting），如果不考虑这些结点可能会更好 能够对不完整数据进行处理。 用信息增益率来进行属性选择的度量 二，算法流程 三，属性选择...
分类：
编程语言 时间：
2015-11-19 18:59:33
阅读次数：
288
一，预备知识： 信息量： 单个类别的信息熵： 条件信息量： 单个类别的条件熵： 信息增益： 信息熵： 条件熵：（表示分类的类，表示属性V的取值，m为属性V的取值个数，n为分类的个数） 二.算法流程: 实质:递归的先根建树,结束条件(当前子集类别一致)，建树量化方法（信息增益） 三.示例代码： pac...
分类：
编程语言 时间：
2015-11-19 14:29:58
阅读次数：
270
首先说下信息熵其中X可以取x1,x2,...xn，Pi为X取xi的概率，信息熵反应X携带的信息量引申到分类系统，类别C可以取值C1,C2...Cn，整个分类系统的熵为其中P(Ci)=Ci类文档数/文档集总文档数信息增益针对的是特征词t，整个系统有t和没t的信息量的差就是信息增益。（1）系统有t时候的...
分类：
其他好文 时间：
2015-11-07 20:34:49
阅读次数：
252
本文简单介绍了熵、信息增益的概念，以及如何使用信息增益对监督学习的训练样本进行评估，评估每个字段的信息量。 1、熵的介绍 在信息论里面，熵是对不确定性的测量。通俗来讲，熵就是衡量随机变量随机性的指标。比如一个随机变量X的状态有{1,2,...,n},如果X取1的概率为1，其他状态为0，那么这个随机....
分类：
其他好文 时间：
2015-10-13 15:15:10
阅读次数：
268
ID3是以信息增益作为划分训练数据集的特征，即认为信息增益大的特征是对分类结果影响更大，但是信息增益的方法偏向于选择取值较多的特征，因此引入了C4.5决策树，也就是使用信息增益率(比)来作为划分数据集的特征，信息增益率定义如下：。就是在ID3中已经计算出特征A的信息增益之后再除一个熵HA(D),HA...
分类：
编程语言 时间：
2015-09-23 16:34:20
阅读次数：
294
1）熵与信息增益：2）以下是实现代码：//import java.awt.color.ICC_ColorSpace;import java.io.*;import java.util.ArrayList;import java.util.Collections;import java.util.Co...
分类：
编程语言 时间：
2015-09-18 20:29:26
阅读次数：
315
1、C4.5C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2)在树构造过程中进行剪枝；3)能够完成对连续属性的离散...
分类：
编程语言 时间：
2015-09-16 21:33:20
阅读次数：
180
决策树算法实际就是一个不断分割训练数据集使其成为数据子集的过程。这种分类或回归模型成树形结构，这也是其被成为决策树算法的主要原因。决策树算法最主要的问题是如何分裂原始数据集使其数据集包含的类别纯度越来越高，于是前辈们引入了熵和信息增益等概念。下面来总结一下..
分类：
编程语言 时间：
2015-09-16 01:06:32
阅读次数：
224
c4.5算法是机器学习算法中的一种分类决策树算法，其核心算法是ID3 。c4.5对ID3算法做了相对的改进。如下 1 采用信息增益率代替信息增益。因为使用信息增益时会偏向选取取值更多的属性。 2 在树的构造过程中进行剪枝 3 能够完成对连续属性的离散化处理 4 对不完整数据进行处理c...
分类：
编程语言 时间：
2015-08-08 11:56:25
阅读次数：
130
