逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。后来发现在最优化领域中非常常用的l-BFGS方法对于Logistic Regression的收敛速度优化是不错的。l-BFGS方法...
分类：
其他好文 时间：
2015-06-30 18:02:00
阅读次数：
132
static int Get1DMaxEntropyThreshold(const int* HistGram, int const in_Start, int const in_End) { int X, Y, Amount = 0; double HistGr...
分类：
其他好文 时间：
2015-06-25 12:05:36
阅读次数：
111
最大熵模型中的数学推导查看原文，点击这里0 引言 写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月个人组织的算法班，而动笔继续写这个机器学习系列，正得益于今年10月组织的机器学习班。 10月26日机.....
分类：
其他好文 时间：
2015-06-21 17:04:55
阅读次数：
276
最近两天简单看了下最大熵模型，特此做简单笔记，后续继续补充。最大熵模型是自然语言处理(NLP, nature language processing)被广泛运用，比如文本分类等。主要从分为三个方面，一：熵的数学定义；二：熵数学形式化定义的来源；三：最大熵模型。
注意：这里的熵都是指信息熵。
一：熵的数学定义：
下面分别给出熵、联合熵、条件熵、相对熵、互信息的定义。
熵：如果一个随机...
分类：
其他好文 时间：
2015-05-12 00:09:14
阅读次数：
270
信息熵香农与1948年提出的信息论以其中的信息熵这一基本概念为基础，用来表征人们对客观事件的不确定性的度量，与物理学中的熵表征物质的混乱程度有相似之处。
当处理不确定事件时，最常用的方式就是用概率方式描述，一般假定不确定的事件A每种可能的状态都有一个概率与之对应：P(Ai)s.t.∑i=1nP(Ai)=1P(Ai)≥0P(A_i)\\ s.t.\sum_{i=1}^nP(A_i)=1\\P(A_i...
分类：
其他好文 时间：
2015-05-07 16:41:45
阅读次数：
167
对于理工科学生来说，“熵”并不是一个陌生的名词。在诸如“大学物理”“热力学”和“信息论”等课程中都会有所介绍。但同时“熵”又是一个显得有点神秘的概念，看不见也摸不着。我最早是在高中物理课中听说的，大概是在介绍“热力学第二定律”时提到的。热力学第二定律的内容是：热力学过程是不可逆的——孤立系统自发地朝着热力学平衡方向──最大熵状态──演化。
然后真正的对这个名词有所理解是在学习《工程热力学》...
分类：
其他好文 时间：
2015-04-27 23:51:02
阅读次数：
255
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
关于最大熵模型的介绍请看：http://www.cnblogs.com/hexinuaa/p/3353479.html以下是GIS训练算法的python实现，代码不到100行。from collections import defaultdictimport mathclass MaxEnt(obj...
分类：
其他好文 时间：
2015-03-12 13:02:27
阅读次数：
211
1. logistic回归模型1.1 Logsitic分布设X是服从logistic分布的连续随即变量，则X的分布函数和密度函数如下： \( F(x)=P(x \le x)=\displaystyle\frac{1}{1+e^{-(x-\mu)/\gamma}} \) \( f(...
分类：
其他好文 时间：
2015-02-04 18:27:44
阅读次数：
158
http://www.52nlp.cn/%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E5%85%A5%E9%97%A8%E4%B9%8B%E5%AD%97%E6%A0%87%E6%B3%A8%E6%B3%954上一节主要介绍的是利用最大熵工具包来做字标注中文分词，这一节...
分类：
其他好文 时间：
2015-01-04 18:32:28
阅读次数：
274
