Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之一，其训练常采用最大似然准则，且为防止过拟合，往往在目标函数中加入（可以产生稀疏性的） L1 正则。但对于这种带 L1 正则的最大熵模型，直接采用标准的随机梯度下降法（SGD）会出现效率不高和难以真正产生稀疏性等问题。本文为阅读论文 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...
分类：
其他好文 时间：
2014-06-19 12:01:04
阅读次数：
286
通过前几时断续的学习，发现自己对HMM模型的了解还只停留在皮毛，导致在学习CRF模型并将其与最大熵模型、HMM、MEMM做比较时感觉很吃力，所以又花了两天时间使劲看了遍HMM，发现了解得确实深刻了很多，现小结一下，争取把看过的知识变成自己的，特别感谢52nlp网站http://www.52nlp.c...
分类：
其他好文 时间：
2014-06-19 06:44:30
阅读次数：
387
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数学公式的理解和详细推导。...
分类：
其他好文 时间：
2014-05-23 01:40:23
阅读次数：
365
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数学公式的理解和详细推导。...
分类：
其他好文 时间：
2014-05-23 01:39:46
阅读次数：
337
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数学公式的理解和详细推导。...
分类：
其他好文 时间：
2014-05-23 00:14:00
阅读次数：
335
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数学公式的理解和详细推导。...
分类：
其他好文 时间：
2014-05-22 22:45:41
阅读次数：
369
生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”，这样可以降低风险。深究一下，这是为什么呢？其实，这里边包含了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出其中所涉及数学公式的理解和详细推导。...
分类：
其他好文 时间：
2014-05-22 17:33:02
阅读次数：
213
学习统计学习方法也已经有几天了，在这几天的时间里，我主要对分类学习方法进行了初步学习，包括：感知机——>支持向量机，K近邻法，朴素贝叶斯法，决策树，logistic
回归与最大熵模型。 其中k近邻法的实现为kd树，朴素贝叶斯通过极大似然估计实现，决策树包含有生成决策树算法ID3,C4.5，决策...
分类：
其他好文 时间：
2014-05-10 03:06:00
阅读次数：
225
关于最大熵模型的介绍请看：http://www.cnblogs.com/hexinuaa/p/3353479.html
下面是GIS训练算法的python实现，代码不到100行。
from collections import defaultdict
import math
class MaxEnt(object):
def __ini...
分类：
其他好文 时间：
2014-04-30 22:46:39
阅读次数：
384
