在利用张乐博士的最大熵模型工具包(Maximum Entropy Modeling Toolkit for Python and C++)和条件随机场的经典工具包CRF++(CRF++: Yet Another CRF toolkit)进行分词的时候，发现工具包不能正常安装，从报出的错误推测是gcc ...
分类：
其他好文 时间：
2016-10-29 07:39:07
阅读次数：
179
0. 概述：
Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，
logistic回归模型与最大熵模型都是对数线性模型。
本文第一...
分类：
其他好文 时间：
2016-10-12 11:43:03
阅读次数：
254
在线性回归问题中，我们假设，而在分类问题中，我们假设，它们都是广义线性模型的例子，而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型都是基于广义线性模型的，例如，传统的线性回归模型，最大熵模型，Logistic回归，softmax回归。 指数分布族 在了解广义线性模型之前，先了解一 ...
分类：
其他好文 时间：
2016-08-14 07:38:51
阅读次数：
196
说明：此篇是作者对“最大熵模型”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结：
http://blog.csdn.net/xueyingxue001/article/details/50773796
信息量：
某事件x的信息量的式子为...
分类：
其他好文 时间：
2016-07-19 10:36:53
阅读次数：
188
七月在线4月机器学习算法班课程笔记——No.8
1. 统计学习基础回顾1.1 先验概率与后验概率 先验概率：根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。
后验概率：依据得到”结果”信息所计算出的最有可能是那种事件发生，如贝叶斯公式中的，是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。
贝叶斯定理：假设...
分类：
编程语言 时间：
2016-06-21 08:04:13
阅读次数：
2226
1、概率模型
机器学习中的很多模型可以根据概率分布形式分为生成模型和判别模型，其中生成模型以输入输出的联合分布P(X,Y)为基础建模，如朴素贝叶斯、隐马尔可夫模型；判别模型以条件概率分布P(Y|X)为基础建模，如最大熵模型、条件随机场等。这几个模型之间有一定的关系，它们的关系如下：
其中，NB表示朴素贝叶斯，ME表示最大熵，HMM表示隐马尔科夫，CRF表示条件随机场。joint联合分布，co...
分类：
其他好文 时间：
2016-04-17 23:10:02
阅读次数：
392
第6章 逻辑回归与最大熵模型
逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。
6.1 逻辑回归模型
定义6.1(逻辑分布)：设X是连续随机变量，X服从逻辑斯谛分布是指
X具有下列分布函数和密度函...
分类：
其他好文 时间：
2016-03-30 13:13:41
阅读次数：
225
Logistic Regression可以说是机器学习的入门算法。不过，你真的有把握能够把LR从头到脚讲一遍吗？你会现场建模，数学推导？你知道它的正则化的作用？你能讲清楚它跟MaxEnt最大熵模型的关系吗？ok，你说这些你都会？那你知道并它的行化怎么做吗？有几种并行化的方式呢？啥？！你说你还会？大神，请受我一拜！...
分类：
其他好文 时间：
2015-12-19 18:04:09
阅读次数：
3033
Log-Linear 模型（也叫做最大熵模型）是 NLP 领域中使用最为广泛的模型之中的一个。其训练常採用最大似然准则。且为防止过拟合，往往在目标函数中增加（能够产生稀疏性的） L1 正则。但对于这样的带 L1 正则的最大熵模型，直接採用标准的随机梯度下降法（SGD）会出现效率不高和...
分类：
其他好文 时间：
2015-09-30 19:35:31
阅读次数：
237
/*先把标题给写了，这样就能经常提醒自己*/转自别处有很多与此类似的文章也不知道谁是原创 因原文由少于错误 所以下文对此有修改并且做了适当的重点标记(横线见的内容没大明白 并且有些复杂，后面的运行流程依据前面的得出的算子进行分类)初步接触谓LR分类器(Logistic Regression Clas...
分类：
其他好文 时间：
2015-09-11 12:19:28
阅读次数：
1334
