http://blog.sina.com.cn/s/blog_605f5b4f010109z3.html首先，CRF，HMM(隐马模型)，MEMM(最大熵隐马模型)都常用来做序列标注的建模，像词性标注，True casing。但隐马模型一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特...
分类：
其他好文 时间：
2015-01-04 15:15:08
阅读次数：
438
最近做了一个应用最大熵模型movie-review二元分类的项目。
其中最大熵模型应用的是张乐教授的最大熵工具http://homepages.inf.ed.ac.uk/lzhang10/maxent_toolkit.html。
分析数据movie-review应用的是Bo-Pang http://www.cs.cornell.edu/people/pabo/movie-review-data...
分类：
编程语言 时间：
2014-12-15 09:09:31
阅读次数：
364
条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。
CRF最早是针对序列数据分析提出的，现已成功应用于自然语言处理(Natural Language Processing，NLP） 、生物信息学、机器视觉及网络智能等领域。
1.序列标注的例子
标注（实体命名识别）：任命...
分类：
其他好文 时间：
2014-12-03 15:46:28
阅读次数：
242
这是一个判别式汉语句法分析器的Java实现，基于最大熵模型和最大生成树模型，实现了中文依存句法的自动分析，在封闭测试集（取自训练集）上取得了99.20%的准确率（UA），分析速度达到570.7句/秒。判别式的分析方法该方法采用条件概率模型，将所有依存关系概率的累积作为目标函数的score，取scor...
分类：
其他好文 时间：
2014-11-26 20:37:23
阅读次数：
145
这是一个最大熵的简明Java实现，提供训练与预测接口。训练采用GIS训练算法，附带示例训练集。本文旨在介绍最大熵的原理、分类和实现，不涉及公式推导或其他训练算法，请放心食用。最大熵理论简介最大熵属于辨识模型,能够满足所有已知的约束, 对未知的信息不做任何过分的假设。什么叫已知的约束？本文不会使用晦涩...
分类：
编程语言 时间：
2014-11-23 17:12:39
阅读次数：
208
前导知识： 1、证明： -lnx ≥1-x , x>0 证如下： 原题可化为f(x)=-lnx+x-1≥0 对f(x)求一阶导 f'(x) = -1/x +1 对f(x)求二阶导 f''(x) = 1/x2>0 二阶导大于0，f(x...
分类：
其他好文 时间：
2014-10-27 16:56:34
阅读次数：
152
Maximum Entropy Model(最大熵模型) 推导
分类：
其他好文 时间：
2014-09-30 14:26:29
阅读次数：
156
MALLET：基于Java语言的用于统计自然语言处理，文件分类，聚类，主题建模，信息提取，和其他的用于文本的机器学习应用的Java包。
MALLET包括复杂的用于文件分类的工具：
有效的用于转换文本到“特征”的程序，多种多样的算法（包括朴素贝叶斯，最大熵，和决策树）。以及一些通用的指标用于评估分类器性能。
除了分类，MALLET包括序列标注的工具，像从文本...
分类：
其他好文 时间：
2014-08-16 11:15:20
阅读次数：
256
在利用张乐博士的最大熵模型工具包(Maximum Entropy Modeling Toolkit for Python and C++)和条件随机场的经典工具包CRF++(CRF++: Yet Another CRF toolkit)进行分词的时候，发现工具包不能正常安装，从报出的错误推测是gcc的版本较低，上述工具包发布于2011年，推测使用了较新的C++11标准。我们知道C++11标准开始支...
分类：
其他好文 时间：
2014-08-06 01:59:30
阅读次数：
151
隐马尔科夫模型（HMM）：
图1. 隐马尔科夫模型
隐马尔科夫模型的缺点：
1、HMM只依赖于每一个状态和它对应的观察对象：
序列标注问题不仅和单个词相关，而且和观察序列的长度，单词的上下文，等等相关。
2、目标函数和预测目标函数不匹配：
HMM学到的是状态和观察序列...
分类：
其他好文 时间：
2014-07-27 11:55:03
阅读次数：
338
