特征选择实质上包括两个部分：特征词的选择和特征词权重的计算。 特征词选择的方法分为有监督的方法和无监督的方法。 有监督的方法包括IG和CHI，无监督的方法包括Document Frequency (DF), Term Strength (TS)和 Entropy-based (En)。 可以参考ht ...
分类：
其他好文 时间：
2016-06-08 15:20:50
阅读次数：
1314
声明：本博客整理自博友@zhouyong计算广告与机器学习－技术共享平台，尊重原创，欢迎感兴趣的博友查看原文。 声明：本博客整理自博友@zhouyong计算广告与机器学习－技术共享平台，尊重原创，欢迎感兴趣的博友查看原文。 写在前面 记得在《Pattern Recognition And Machi ...
分类：
系统相关 时间：
2016-05-21 15:49:08
阅读次数：
273
返回目录
上一篇：k-近邻算法
1. 简单理论介绍
决策树的类型有很多，有CART、ID3和C4.5等，其中CART是基于基尼不纯度(Gini)的，这里不做详解，而ID3和C4.5都是基于信息熵的，它们两个得到的结果都是一样的，本次定义主要针对ID3算法。下面我们介绍信息熵的定义。
1.1 熵
设D为用类别对训练集进行的划分，则D的熵（entropy）表示为：...
分类：
其他好文 时间：
2016-05-16 09:33:49
阅读次数：
284
1.Cross Entropy Error
The mathematics behind cross entropy (CE) error and its relationship to NN training are very complex, but, fortunately, the results are remarkably simple to understand and implem...
分类：
其他好文 时间：
2016-05-13 04:04:05
阅读次数：
547
x264代码剖析（十七）：核心算法之熵编码(Entropy Encoding)
熵编码是无损压缩编码方法，它生产的码流可以经解码无失真地恢复出原始数据。熵编码是建立在随机过程的统计特性基础上的。本文对熵编码中的CAVLC（基于上下文自适应的可变长编码）和CABAC（基于上下文的自适应二进制算术熵编码）进行简单介绍，并给出x264中熵编码对应的代码分析。
在H.264的CAV...
分类：
编程语言 时间：
2016-04-01 18:46:08
阅读次数：
248
第6章 逻辑回归与最大熵模型
逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。
6.1 逻辑回归模型
定义6.1(逻辑分布)：设X是连续随机变量，X服从逻辑斯谛分布是指
X具有下列分布函数和密度函...
分类：
其他好文 时间：
2016-03-30 13:13:41
阅读次数：
225
[2016-02-04][HDU][1053][Entropy]EntropyTime Limit: 1000MSMemory Limit: 32768KB64bit IO Format: %I64d & %I64uSubmit StatusDescriptionAn entropy encoder...
分类：
其他好文 时间：
2016-02-05 01:53:41
阅读次数：
241
if-then规则的集合，优点是模型具有可读性，分类速度快。决策树常用的算法：ID3算法、C4.5算法、CART算法1、熵（entropy，又称信息熵）因此，熵只依赖于X的分布，与X的取值无关。熵越大，随机变量X的不确定性就越大。如果有0概率，令。单位为比特(bit)或纳特(Nat)2、条件熵——表...
分类：
编程语言 时间：
2015-12-29 12:41:50
阅读次数：
184
主要两个方面 Probabilistic modeling 概率建模，神经网络模型尝试去预测一个概率分布 Cross-entropy作为误差函数使得我们可以对于观测到的数据 给予较高的概率值 同时可以解决saturation的问题 前面提到的线性隐层的降维作用(减少训练参数) 这是一个最初版的神经网...
分类：
编程语言 时间：
2015-12-16 21:16:45
阅读次数：
1080
3.1 决策树的构造3.1.1 信息增益熵(entropy)是信息的期望值。如果待分类的事物可能划分在多个分类中，则符号xi的信息定义为：，p(xi)为该分类的概率。为了计算熵，需计算所有类别所有可能包含的信息期望值：，n是分类的数目。3.1.2 划分数据集分类算法需要：上述的测量信息熵、划分数据集...
分类：
其他好文 时间：
2015-12-06 22:47:31
阅读次数：
316
