EM算法学习总结。包括推导证明和一个具体GMM实例。
分类：
编程语言 时间：
2015-12-17 17:35:25
阅读次数：
178
本文原创， 转载请注明出处:http://www.cnblogs.com/gufeiyang/p/5036970.html 微博：flysea_gu 首先考虑这么一个问题。操场东边有100个男生，他们的身高符合高斯分布。操场西边有100个女生，她们的身高也符合高斯分布。 如果告诉了男生的身高...
分类：
编程语言 时间：
2015-12-10 21:20:05
阅读次数：
168
不同于其它的机器学习模型，EM算法是一种非监督的学习算法，它的输入数据事先不需要进行标注。相反，该算法从给定的样本集中，能计算出高斯混和参数的最大似然估计。也能得到每个样本对应的标注值，类似于kmeans聚类（输入样本数据，输出样本数据的标注）。实际上，高斯混和模型GMM和kmeans都是EM算法的...
分类：
编程语言 时间：
2015-12-10 16:37:06
阅读次数：
355
参考文献1：http://blog.sina.com.cn/s/blog_6c7b434d01013zwe.html参考文献2：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.htmlEM算法这个烦人的东西，之前看懂了，现在又忘...
分类：
编程语言 时间：
2015-11-13 22:13:45
阅读次数：
319
1. k－means算法k-means算法的loss function 可写成其中，为指示变量，代表数据n被指派到类k，为类k的均值。k-means算法的核心为找到和以最小化loss function。优化方法为交替优化，先基于优化J，保持不变。同样基于优化J，不变。这两个阶段分别被称作EM算法的E...
分类：
编程语言 时间：
2015-10-26 23:55:25
阅读次数：
259
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f....
分类：
编程语言 时间：
2015-09-13 22:48:35
阅读次数：
236
1.EM算法是含有隐变量的变量的概率模型极大似然估计或极大后验概率估计的迭代算法，含有隐变量的概率模型的数据表示为$P(Y,Z|\theta)$.这里，$Y$是观测变量的数据，$Z$是隐变量的数据，$\theta$是模型参数。EM算法通过迭代求解观测数据的对数似然函数$L(\theta)=logP(...
分类：
编程语言 时间：
2015-09-10 23:55:46
阅读次数：
293
【机器学习】EM算法详细推导和讲解 今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。 众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的....
分类：
编程语言 时间：
2015-08-29 21:34:37
阅读次数：
303
混合高斯模型（Mixtures of Gaussians）和EM算法这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，...
分类：
编程语言 时间：
2015-08-29 21:30:31
阅读次数：
231
EM算法本文试图用最简单的例子、最浅显的方式说明EM（Expectation Maximization）算法的应用场景和使用方法，而略去公式的推导和收敛性的证明。以下内容翻译自《Data-Intensive Text Processingwith MapReduce》。Maximum Likelih...
分类：
编程语言 时间：
2015-08-29 21:29:34
阅读次数：
274
