最大似然估计： 这个我们大学学习概率一直用到的东西，其实非常牛逼！ 什么是最大似然估计？ 问题：给定一组观察数据还有一个参数待定的模型，如何来估计这个未知参数呢？ 观察数据（x1，y1）......(xn,yn) 待定模型参数为θ，模型为f（x;θ）。这时候可以借助观察数据来估计这个θ。这...
分类：
其他好文 时间：
2014-09-11 19:05:12
阅读次数：
193
简要介绍EM算法，并使用EM算法求解两个高斯分布的参数估计问题，使用Python实现代码运行。...
分类：
编程语言 时间：
2014-08-20 22:43:13
阅读次数：
1391
机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。 我希望自...
分类：
其他好文 时间：
2014-08-19 14:14:24
阅读次数：
180
网易公开课，第14课 notes，10 之前谈到的factor analysis，用EM算法找到潜在的因子变量，以达到降维的目的 这里介绍的是另外一种降维的方法，Principal Components Analysis (PCA)， 比Factor Analysis更为直接，计算也简单些 主成分分...
分类：
其他好文 时间：
2014-08-13 17:52:06
阅读次数：
288
这个暂时还不太明白，先写一点明白的。EM:最大期望算法，属于基于模型的聚类算法。是对似然函数的进一步应用。我们知道，当我们想要估计某个分布的未知值，可以使用样本结果来进行似然估计，进而求最大似然估计就可以估计出要求的参数。但是有时候还会有未知参数，这样就不能使用极大似然估计。当然这个参数与我们要估计...
分类：
其他好文 时间：
2014-08-05 18:17:09
阅读次数：
180
本文作为em算法在图模型中的一个应用，推导plsa的em算法。1 em算法em算法是解决一类带有隐变量模型的参数估计问题。1.1 模型的定义输入样本为，对应的隐变量为。待估计的模型参数为，目标为极大化似然函数对于上式的优化，不能通过直接对进行求导，因为一旦求导，就有如下的形式：显然是不好求的。1.2...
分类：
其他好文 时间：
2014-08-02 18:09:53
阅读次数：
527
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-07-18 19:25:06
阅读次数：
204
在聚类中我们经经常使用到EM算法（i.e. Estimation - Maximization）进行參数预计, 在该算法中我们通过函数的凹/凸性，在estimation和maximization两步中迭代地进行參数预计，并保证能够算法收敛，达到局部最优解。PS：为了不在11.11这个吉祥的日子发bl...
分类：
其他好文 时间：
2014-07-16 18:09:11
阅读次数：
218
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-07-15 09:13:23
阅读次数：
355
在聚类中我们经经常使用到EM算法（i.e. Estimation - Maximization）进行參数预计, 在该算法中我们通过函数的凹/凸性，在estimation和maximization两步中迭代地进行參数预计，并保证能够算法收敛，达到局部最优解。PS：为了不在11.11这个吉祥的日子发bl...
分类：
其他好文 时间：
2014-07-14 15:28:42
阅读次数：
164
