最大熵模型的简单实现，用GIS进行训练，可以看一下效果...
分类：
编程语言 时间：
2014-07-08 18:18:45
阅读次数：
344
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 决策书算法是一种逼近离散数值的分类算法，思路比較简单，并且准确率较高。国际权威的学术组织，数据挖掘国际会议ICDM （the IEEE International Conference on Da...
分类：
编程语言 时间：
2014-06-26 22:33:33
阅读次数：
410
第6章 变换编码1. 变换编码变换编码的目的去除空间信号的相关性将空间信号的能力集中到频域的一小部分低频系数上能量小的系数可通过量化去除，而不会严重影响重构图像的质量块变换和全局变换块变换：离散余弦变换(Discrete Cosine Transform，DCT)，4x4，8x8，16x16全局变换...
分类：
其他好文 时间：
2014-06-26 17:49:05
阅读次数：
326
prunning，剪枝，顾名思义就是减掉那些不重要的。
从理论上来讲，剪枝达到的效果就是剪枝后的q和剪枝前的 p 最大化相似，有两种算法 entroy-based以及rank-based。
针对model，使用相对熵来刻画D(q||p) 来刻画，保证两个model的熵差别最小，就是entropy-based。如果使用rank(p|q)来描述，保证整个model的rank差别最小...
分类：
其他好文 时间：
2014-06-26 07:24:00
阅读次数：
208
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
通过前几时断续的学习，发现自己对HMM模型的了解还只停留在皮毛，导致在学习CRF模型并将其与最大熵模型、HMM、MEMM做比较时感觉很吃力，所以又花了两天时间使劲看了遍HMM，发现了解得确实深刻了很多，现小结一下，争取把看过的知识变成自己的，特别感谢52nlp网站http://www.52nlp.c...
分类：
其他好文 时间：
2014-06-19 06:44:30
阅读次数：
387
WPP（Wavefront Parallel
Processing） 上一行的第二个LCU处理完毕，即对当前行的第一个LCU的熵编码（CABAC）概率状态参数进行初始化，如图5所示。因此，只需要上一行的第二个LCU编解码完毕，即可以开始当前行的编解码，以此提高编解码器的并行处理能力在视频编码器编码中...
分类：
其他好文 时间：
2014-06-07 10:49:16
阅读次数：
969
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景
接着上一节说，没看到请先看一下上一节关于数据集的划分数据集划分。如今我们得到了每一个特征值得信息熵增益，我们依照信息熵增益的从大到校的顺序，安排排列为二叉树的节点。数据集和二叉树的图见下。（二叉树的图是....
分类：
编程语言 时间：
2014-06-03 07:23:48
阅读次数：
325
一、信息论基础： 熵： 联合熵：实际上就是描述一对随机变量平均所需要的信息量。
条件熵：给定随机变量 X 的情况下，随机变量 Y 的条件熵定义为： 熵率： 相对熵（KL距离）：两个概率分布 p(x) 和 q(x) 的相对熵定义为：
交叉熵：如果一个随机变量 X ~ p(x)，q(x)为用于近似 p(...
分类：
其他好文 时间：
2014-05-31 15:39:37
阅读次数：
319
