1 logistic regression model1.1 logistic distribution1.2 binary logistic regression model1.3 模型参数估计1.4 multi-nominal logistic regression model2 最大熵模型2.... ...
分类：
其他好文 时间：
2018-03-07 13:18:48
阅读次数：
289
统计学习方法 模型 k近邻(knn):kd树 朴素贝叶斯： 决策树： 逻辑回归与最大熵模型： SVM： CRF： ...
分类：
其他好文 时间：
2017-11-26 16:54:14
阅读次数：
136
曾经被问，Logistic回归为什么用sigmoid函数。一时语塞······ Logistic回归采用sigmoid函数与最大熵有关。 是训练数据，是n维向量。是对应的label，取值集合为{0,1,...,k-1}，在Logistic回归中，k=2。是我们要去学习的概率函数，如将计算出将x分为类 ...
分类：
其他好文 时间：
2017-10-04 00:23:32
阅读次数：
171
最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定，换句话说，也 ...
分类：
其他好文 时间：
2017-09-15 16:49:48
阅读次数：
133
近期在学模式识别，正在看Introduction to Pattern Recognition这本书，挺不错的一本书。好。以下和大家一起来学习最大熵算法。首先，最大熵算法是干什么的呢？通常是用来预计一个分布，至于把分布预计出来之后用来干什么，那要视详细问题而定。那这里的“熵”是什么意思呢？它是指信息 ...
分类：
编程语言 时间：
2017-08-12 22:46:04
阅读次数：
205
最大熵模型与GIS ，IIS算法 关于最大熵模型的严重困惑：为什么没有解析解？ 如何理解最大熵模型里面的特征？ 最大熵模型中特征函数f(x,y)的期望如何计算？ 条件熵推导： IIS(Improved Iterative Scaling)改进的迭代尺度法 ...
分类：
其他好文 时间：
2017-08-05 09:50:01
阅读次数：
141
1-参数估计与矩阵运算基础 2-凸优化 3- 广义线性回归和对偶优化 4-牛顿、拟牛顿、梯度下降、随机梯度下降(SGD) 5-熵、最大熵模型MaxEnt、改进的迭代尺度法IIS 6-聚类（k-means、层次聚类、谱聚类等） 7-K近邻、决策树、随机森林(random decision forest ...
分类：
其他好文 时间：
2017-07-18 15:35:12
阅读次数：
162
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”，这样能够减少风险。深究一下。这是为什么呢？事实上，这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-07-16 19:17:25
阅读次数：
146
对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcal T$上进行对数似然函数$\mathcal L$的极大化。根据上一篇《条件随机场（三）》，我们知道线性链CRF的模型为 \begin{equation} p_{\vec {\lam ...
分类：
其他好文 时间：
2017-07-01 11:00:52
阅读次数：
214
