在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-02-09 21:34:57
阅读次数：
231
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-02-01 21:47:26
阅读次数：
264
PLSA模型的再理解以及源码分析
之前写过一篇PLSA的博文，其中的收获就是知道PLSA是LSA在概率层面的扩展，知道了PLSA是一种主题模型，知道了PLSA中的参数估计使用的是EM算法。当时我就认为，这样子经典好用的算法，我是会回头再来理解它的，这样子才会有更加深刻的心得。所以有了这篇PLSA模型的再理解。
1. 两种思路解PLSA模型
参考了很多...
分类：
其他好文 时间：
2015-01-30 22:50:32
阅读次数：
663
Fisher vector本质上是用似然函数的梯度vector来表达一幅图像...
分类：
其他好文 时间：
2014-12-02 11:53:03
阅读次数：
206
联合概率的乘法公式：（如果随机变量是独立的，则）由乘法公式可得条件概率公式：，，全概率公式：，其中（，则，则可轻易推导出上式）贝叶斯公式：又名后验概率公式、逆概率公式：后验概率＝似然函数×先验概率/证据因子。解释如下，假设我们根据“手臂是否很长”这个随机变量（取值为“手臂很长”或“手臂不长”）的观测...
分类：
其他好文 时间：
2014-11-21 20:24:29
阅读次数：
215
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2014-11-09 15:08:43
阅读次数：
348
Likehood函数即似然函数，是概率统计中经常用到的一种函数，其原理网上很容易找到，这里就不讲了。这篇博文主要讲解Likelihood对回归模型的Probabilistic interpretation。在我们的回归模型中由于其他因素的影响我们的预测函数为： 其中 为影响预测的其他因素或者说噪.....
分类：
其他好文 时间：
2014-10-30 20:44:37
阅读次数：
199
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2014-10-27 10:40:28
阅读次数：
316
1、多项式分布 2、文本的多项式分布建模3、共轭先验4、概率平滑｛Lapace平滑、加1平滑、Dirichlet贝叶斯平滑、2阶段语言模型｝5、似然函数6、log似然函数7、期望最大化算法8、条件概率9、贝叶斯全公式10、生成模型11、判别模型12、条件期望13、拉格朗日系数14、VSM，LSI，P...
分类：
其他好文 时间：
2014-10-19 21:18:18
阅读次数：
198
在逻辑回归之问题建模分析中我们提到最大化参数θ的最大化似然函数可以用梯度下降法，对参数进行更新直至上面的对数似然函数收敛。下面引入另一种方法：牛顿方法。开始，首先我们考虑如何找到一个函数的零点。也就是我们有一个函数：，我们希望找到一个值θ，使得.我们首先随机取某一点(x,f(x))，那么f(x)在该...
分类：
其他好文 时间：
2014-10-07 12:01:13
阅读次数：
288
