转至：http://www.cnblogs.com/openeim/p/3921835.html机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法...
分类：
编程语言 时间：
2015-05-17 18:32:17
阅读次数：
176
这一部分属于无监督学习的内容，无监督学习内容主要包括：Kmeans聚类算法、高斯混合模型及EM算法、Factor Analysis、PCA、ICA等。本文是Kmeans聚类算法、高斯混合模型的笔记，EM算法是适用于存在latent/hidden变量的通用算法，高斯混合模型仅仅是EM算法的一种特殊情况，关于EM算法的推到参见Andrew Ng讲义。由于公式太多，最近时间又忙实习的事就简单写一些，回头...
分类：
其他好文 时间：
2015-05-15 20:02:24
阅读次数：
683
看数据挖掘方面的算法理论时经常感觉一些公式的推导过程如天书一般,例如看svm的数学证明,EM算法..,感觉知识跳跃比较大,那么数据挖掘系统的学习过程是怎么样?磨刀不误砍柴工。在学习数据挖掘之前应该明白几点：数据挖掘目前在中国的尚未流行开，犹如屠龙之技。数据初期的准备通常占整个数据挖掘项目工作量的70...
分类：
其他好文 时间：
2015-05-14 15:57:21
阅读次数：
129
借助于文章【1】中的内容把EM算法的过程顺一遍，加深一下印象。
关于EM公式的推导，一般会有两个证明，一个是利用Jesen不等式，另一个是将其分解成KL距离和L函数，本质是类似的。下面介绍Jensen EM的整个推导过程。
Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，f′′(x)≥0f^{''}(x)\ge 0，那么f是凸函数。当x是向量时，如果其h...
分类：
编程语言 时间：
2015-05-11 20:10:24
阅读次数：
158
在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。...
分类：
编程语言 时间：
2015-05-10 17:23:37
阅读次数：
342
EM算法，之前上模式识别课上，推导过，在《统计学习方法》中没耐性的看过几次，个人感觉讲的过于理论，当时没怎么看懂，后来学lda，想要自己实现一下em算法，又忘记了，看来还是学的不够仔细，认识的不够深刻，现在做点笔记。本文是看了几篇blog和《统计学习方法》之后做的笔记，只是用来给自己做记录，很多.....
分类：
编程语言 时间：
2015-05-10 17:09:57
阅读次数：
357
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f....
分类：
其他好文 时间：
2015-04-26 21:10:52
阅读次数：
213
适用场景：有隐变量的时候特别适用。 EM算法主要分为两个步骤：E步和M步。 输入：选择参数的初值theta，进行迭代。 E步： 每次迭代改变初值。定义Q函数。Q函数为迭代的期望值。 M步： 求使E步得到的Q函数最大的theta值。 最后，重复进行E步和M步。直到最终theta值变化较小...
分类：
编程语言 时间：
2015-04-24 22:26:07
阅读次数：
244
注意：$\alpha$和$\beta$已知，常用为（和LDA EM算法不同）1. 为什么可用LDA模型求解的目标为得到$\phi$和$\theta$假设现在已知每个单词对应的主题$z$，则可以求得$\theta$的后验分布，求期望得到$E(\theta)$作为每份文档的主题$E(\theta_{mk...
分类：
其他好文 时间：
2015-04-23 12:22:33
阅读次数：
173
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。
分类：
编程语言 时间：
2015-04-17 23:38:44
阅读次数：
279
