熵的概念在统计学习与机器学习中真是很重要，熵的介绍在这里：信息熵 Information Theory 。今天的主题是最大熵模型（Maximum Entropy Model，以下简称MaxEnt），MaxEnt 是概率模型学习中一个准则，其思想为：在学习概率模型时，所有可能的模型中熵最大的模型是最好 ...
分类：
其他好文 时间：
2017-03-13 14:43:55
阅读次数：
304
结构化感知器（Structured Perceptron, SP）是由Collins [1]在EMNLP'02上提出来的，用于解决序列标注的问题。中文分词工具THULAC、LTP所采用的分词模型便是基于此。 1. 结构化感知器 模型 CRF全局化地以最大熵准则建模概率P(Y|X)P(Y|X)；其中， ...
分类：
其他好文 时间：
2017-02-19 18:15:33
阅读次数：
268
逻辑回归 因变量随着自变量变化而变化。 多重线性回归是用回归方程描述一个因变量与多个自变量的依存关系，简称多重回归，其基本形式为：Y= a + bX1+CX2+*+NXn。 二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果，而且两种结果发生与否互相对立，并且相互独立，与其它各次试验 ...
分类：
其他好文 时间：
2017-02-04 12:34:42
阅读次数：
217
http://blog.csdn.net/xmdxcsj/article/details/48790317 Crf模型 1. 定义 一阶（只考虑y前面的一个）线性条件随机场： 相比于最大熵模型的输入x和输出y，crf模型的输入输出都是序列化以后的矢量，是对最大熵模型的序列扩展。 相比于最大熵模型的另 ...
分类：
其他好文 时间：
2016-12-21 16:38:08
阅读次数：
435
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2016-11-23 22:23:15
阅读次数：
308
在利用张乐博士的最大熵模型工具包(Maximum Entropy Modeling Toolkit for Python and C++)和条件随机场的经典工具包CRF++(CRF++: Yet Another CRF toolkit)进行分词的时候，发现工具包不能正常安装，从报出的错误推测是gcc ...
分类：
其他好文 时间：
2016-10-29 07:39:07
阅读次数：
179
0. 概述：
Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，
logistic回归模型与最大熵模型都是对数线性模型。
本文第一...
分类：
其他好文 时间：
2016-10-12 11:43:03
阅读次数：
254
熵： 表示随机变量不确定性的度量。 只依赖于随机变量X的分布，与其取值无关 0<=H(X)<=log(n),当随机变量X符合均匀分布时，熵最大 最大熵： 最大熵可理解为满足现有约束条件的情况下，其余不确定的信息默认为等可能的 ...
分类：
其他好文 时间：
2016-08-14 20:34:05
阅读次数：
115
在线性回归问题中，我们假设，而在分类问题中，我们假设，它们都是广义线性模型的例子，而广义线性模型就是把自变量的线性预测函数当作因变量的估计值。很多模型都是基于广义线性模型的，例如，传统的线性回归模型，最大熵模型，Logistic回归，softmax回归。 指数分布族 在了解广义线性模型之前，先了解一 ...
分类：
其他好文 时间：
2016-08-14 07:38:51
阅读次数：
196
说明：此篇是作者对“最大熵模型”的第二次总结，因此可以算作对上次总结的查漏补缺以及更进一步的理解，所以很多在第一次总结中已经整理过的内容在本篇中将不再重复，如果你看的有些吃力，那建议你看下我的第一次总结：
http://blog.csdn.net/xueyingxue001/article/details/50773796
信息量：
某事件x的信息量的式子为...
分类：
其他好文 时间：
2016-07-19 10:36:53
阅读次数：
188
