1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
关于最大熵模型的介绍请看：http://www.cnblogs.com/hexinuaa/p/3353479.html以下是GIS训练算法的python实现，代码不到100行。from collections import defaultdictimport mathclass MaxEnt(obj...
分类：
其他好文 时间：
2015-03-12 13:02:27
阅读次数：
211
1. logistic回归模型1.1 Logsitic分布设X是服从logistic分布的连续随即变量，则X的分布函数和密度函数如下： \( F(x)=P(x \le x)=\displaystyle\frac{1}{1+e^{-(x-\mu)/\gamma}} \) \( f(...
分类：
其他好文 时间：
2015-02-04 18:27:44
阅读次数：
158
最近做了一个应用最大熵模型movie-review二元分类的项目。
其中最大熵模型应用的是张乐教授的最大熵工具http://homepages.inf.ed.ac.uk/lzhang10/maxent_toolkit.html。
分析数据movie-review应用的是Bo-Pang http://www.cs.cornell.edu/people/pabo/movie-review-data...
分类：
编程语言 时间：
2014-12-15 09:09:31
阅读次数：
364
条件随机场模型是Lafferty于2001年，在最大熵模型和隐马尔科夫模型的基础上，提出的一种判别式概率无向图学习模型，是一种用于标注和切分有序数据的条件概率模型。
CRF最早是针对序列数据分析提出的，现已成功应用于自然语言处理(Natural Language Processing，NLP） 、生物信息学、机器视觉及网络智能等领域。
1.序列标注的例子
标注（实体命名识别）：任命...
分类：
其他好文 时间：
2014-12-03 15:46:28
阅读次数：
242
这是一个判别式汉语句法分析器的Java实现，基于最大熵模型和最大生成树模型，实现了中文依存句法的自动分析，在封闭测试集（取自训练集）上取得了99.20%的准确率（UA），分析速度达到570.7句/秒。判别式的分析方法该方法采用条件概率模型，将所有依存关系概率的累积作为目标函数的score，取scor...
分类：
其他好文 时间：
2014-11-26 20:37:23
阅读次数：
145
前导知识： 1、证明： -lnx ≥1-x , x>0 证如下： 原题可化为f(x)=-lnx+x-1≥0 对f(x)求一阶导 f'(x) = -1/x +1 对f(x)求二阶导 f''(x) = 1/x2>0 二阶导大于0，f(x...
分类：
其他好文 时间：
2014-10-27 16:56:34
阅读次数：
152
Maximum Entropy Model(最大熵模型) 推导
分类：
其他好文 时间：
2014-09-30 14:26:29
阅读次数：
156
在利用张乐博士的最大熵模型工具包(Maximum Entropy Modeling Toolkit for Python and C++)和条件随机场的经典工具包CRF++(CRF++: Yet Another CRF toolkit)进行分词的时候，发现工具包不能正常安装，从报出的错误推测是gcc的版本较低，上述工具包发布于2011年，推测使用了较新的C++11标准。我们知道C++11标准开始支...
分类：
其他好文 时间：
2014-08-06 01:59:30
阅读次数：
151
最大熵模型的简单实现，用GIS进行训练，可以看一下效果...
分类：
编程语言 时间：
2014-07-08 18:18:45
阅读次数：
344
