1、逻辑斯蒂分布 sigmoid 曲线 二项逻辑斯蒂回归模型，实际上是二项判别模型。 基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log 多项逻辑斯蒂回归，实际是二项的扩展。 2、最大熵模型 由5.2.2节的熵模型。使我们需要的公式。 所谓最大熵，是指83页定义的条件熵的最大熵。 ...
分类：
其他好文 时间：
2018-05-18 00:34:27
阅读次数：
137
最大熵模型与GIS ，IIS算法 CSDN博客 http://blog.csdn.net/u014688145/article/details/55003910 Adaboost 算法的原理与推导 CSDN博客 http://blog.csdn.net/v_july_v/article/detail ...
分类：
其他好文 时间：
2018-03-21 11:45:49
阅读次数：
223
1 logistic regression model1.1 logistic distribution1.2 binary logistic regression model1.3 模型参数估计1.4 multi-nominal logistic regression model2 最大熵模型2.... ...
分类：
其他好文 时间：
2018-03-07 13:18:48
阅读次数：
289
统计学习方法 模型 k近邻(knn):kd树 朴素贝叶斯： 决策树： 逻辑回归与最大熵模型： SVM： CRF： ...
分类：
其他好文 时间：
2017-11-26 16:54:14
阅读次数：
136
最大熵模型与GIS ，IIS算法 关于最大熵模型的严重困惑：为什么没有解析解？ 如何理解最大熵模型里面的特征？ 最大熵模型中特征函数f(x,y)的期望如何计算？ 条件熵推导： IIS(Improved Iterative Scaling)改进的迭代尺度法 ...
分类：
其他好文 时间：
2017-08-05 09:50:01
阅读次数：
141
1-参数估计与矩阵运算基础 2-凸优化 3- 广义线性回归和对偶优化 4-牛顿、拟牛顿、梯度下降、随机梯度下降(SGD) 5-熵、最大熵模型MaxEnt、改进的迭代尺度法IIS 6-聚类（k-means、层次聚类、谱聚类等） 7-K近邻、决策树、随机森林(random decision forest ...
分类：
其他好文 时间：
2017-07-18 15:35:12
阅读次数：
162
生活中我们常常听到人们说“不要把鸡蛋放到一个篮子里”，这样能够减少风险。深究一下。这是为什么呢？事实上，这里边包括了所谓的最大熵原理（The Maximum Entropy Principle）。本文为一则读书笔记，将对最大熵原理以及由此导出的最大熵模型进行介绍，重点给出当中所涉及数学公式的理解和具 ...
分类：
其他好文 时间：
2017-07-16 19:17:25
阅读次数：
146
对所有类型的CRF模型，包括最大熵模型，都是采用极大似然估计的方法来进行参数估计，也就是说在训练数据集$\mathcal T$上进行对数似然函数$\mathcal L$的极大化。根据上一篇《条件随机场（三）》，我们知道线性链CRF的模型为 \begin{equation} p_{\vec {\lam ...
分类：
其他好文 时间：
2017-07-01 11:00:52
阅读次数：
214
极大似然估计 上篇文章介绍了最大熵模型以及采用拉格朗日乘子法求解对偶问题，其模型的解如下， \begin{equation} P_{w}(y|x) = \frac 1 {Z_{w}(x)} \exp {\left( \sum\limits_{i=1}^n w_{i} f_{i}(x,y) \righ ...
分类：
其他好文 时间：
2017-06-14 16:08:00
阅读次数：
180
