极大似然估计 上篇文章介绍了最大熵模型以及采用拉格朗日乘子法求解对偶问题，其模型的解如下， \begin{equation} P_{w}(y|x) = \frac 1 {Z_{w}(x)} \exp {\left( \sum\limits_{i=1}^n w_{i} f_{i}(x,y) \righ ...
分类：
其他好文 时间：
2017-06-14 16:08:00
阅读次数：
180
广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。 Contents 1. 广义线性模型的认识 2. ...
分类：
其他好文 时间：
2017-06-05 19:23:26
阅读次数：
319
20170512 051201.py 文档读入数据，分列读取，计数 20170512 部分未整理，关于BP神经网络和神经网络最大熵。 20170518 部分未整理，关于LTP分词。 20170518 051803.py 051804.py 结巴分词的使用案例 051806.py 分词，去停用词，统计 ...
分类：
其他好文 时间：
2017-06-03 20:59:38
阅读次数：
254
我们不要把鸡蛋都放在一个篮子里面讲得就是最大熵原理，从投资的角度来看这就是风险最小原则。从信息论的角度来说，就是保留了最大的不确定性，也就是让熵达到了最大。最大熵院里指出，对一个随机事件的概率分布进行预测的时候，我们的预测应当满足全部的已知条件，而对于未知的情况不要做任何的主观假设（不做主观假设这点 ...
分类：
其他好文 时间：
2017-06-03 20:53:36
阅读次数：
130
转自：http://blog.csdn.net/xw20084898/article/details/17564957 一、工具：VC+OpenCV 二、语言：C++ 三、原理 otsu法（最大类间方差法，有时也称之为大津算法）使用的是聚类的思想，把图像的灰度数按灰度级分成2个部分，使得两个部分之间 ...
分类：
其他好文 时间：
2017-05-30 16:19:01
阅读次数：
261
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”。这样能够减少风险。深究一下，这是为什么呢？事实上，这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍。重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-05-19 20:14:01
阅读次数：
217
声明：本文主要是基于网上的材料做了文字编辑，原创部分甚少。參考资料见最后。 隐马尔可夫模型（Hidden Markov Model。HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CR ...
分类：
其他好文 时间：
2017-05-13 20:58:37
阅读次数：
226
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”，这样能够减少风险。深究一下，这是为什么呢？事实上。这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-04-22 12:40:08
阅读次数：
204
最大熵模型(maximum entropy model， MaxEnt)也是很典型的分类算法了，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量 ...
分类：
其他好文 时间：
2017-04-05 22:09:53
阅读次数：
298
我的理解：在限制的条件下，根据已知情况求解未知情况，最优解的选择就是使得未知的熵最大的那个概率 我们在投资时常常讲不要把所有的鸡蛋放在一个篮子里，这样可以降低风险。在信息处理中，这个原理同样适用。在数学上，这个原理称为最大熵原理(the maximum entropy principle)。 让我们 ...
分类：
其他好文 时间：
2017-03-27 23:05:58
阅读次数：
289
