EM算法(Expectation Maximization Algorithm)1. 前言 这是本人写的第一篇博客(2013年4月5日发在cnblogs上,现在迁移过来)，是学习李航老师的《统计学习方法》书以及斯坦福机器学习课Andrew Ng的EM算法课后，对EM算法学习的介绍性笔记，如有写得不....
分类：
编程语言 时间：
2015-08-29 21:25:56
阅读次数：
331
EM算法是一种非常经典的alternative optimizing算法。alternative optimizing的思想就是对于一个最优化问题，可以计算分为两步或者参数分为两个，就可以随机任意的选择一个起始值或位置，固定一个参数A，以另一个参数B进行优化，然后固定参数B，以参数A进行优化，直到收敛未知。前面博文中所讲述的K-means也就这样的一个过程，或者meanshift均值漂移也是这样。...
分类：
编程语言 时间：
2015-08-29 00:55:09
阅读次数：
238
第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(exp...
分类：
编程语言 时间：
2015-08-28 19:41:47
阅读次数：
750
EM 算法是求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据，可以具体来说，我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。贴相关几个好文章：从最大似然到EM算法浅解混合高斯模型（Mixtu...
分类：
编程语言 时间：
2015-08-06 22:21:12
阅读次数：
326
问题：K-所有值聚类是无监督学习算法设数据集。当中，。如果这个数据能够分为类。把这个问题模型化：，当中代表第类的聚点（中心点、均值）。该模型能够用EM算法进行训练：初始化，。E步：固定。最小化，显然。当中。M步：固定。最小化，，。直至收敛。——————————————————————————————...
分类：
其他好文 时间：
2015-07-30 16:53:25
阅读次数：
134
详细解释了pLSA的公式推导过程，以及EM算法的原理
分类：
其他好文 时间：
2015-07-26 17:04:25
阅读次数：
2600
EM算法 看到别人的博客写得那么好，自己也不动于衷，于是，根据自己的理解也写一下。虽然写这么多字的博客很费劲，但是，这是自己重新组织和思考的一个过程，受益匪浅。大多根据自己的理解，如有错误，望批评指正，来世做牛做马。废话少说，马上进入正题。 这里，主要根据GMM模型来说明这个算法的。一、为什...
分类：
编程语言 时间：
2015-07-22 01:34:00
阅读次数：
269
我希望自己能通俗地把它理解或者说明白，但是，EM这个问题感觉真的不太好用通俗的语言去说明白，因为它很简单，又很复杂。简单在于它的思想，简单在于其仅包含了两个步骤就能完成强大的功能，复杂在于它的数学推理涉及到比较繁杂的概率公式等。如果只讲简单的，就丢失了EM算法的精髓，如果只讲数学推理，又过于枯燥.....
分类：
编程语言 时间：
2015-07-03 13:42:21
阅读次数：
186
1，说明
本文对LDA原始论文的作者所提供的C代码中LDA的主要逻辑部分做注释，代码可在这里下载：https://github.com/Blei-Lab/lda-c
这份代码实现论文《Latent Dirichlet Allocation》中介绍的LDA模型，用变分EM算法求解参数。
为了使代码在vs2013中运行做了一些微小改动，但不影响原代码的逻辑。
vs2013工程可在我的资源中...
分类：
其他好文 时间：
2015-07-02 15:49:14
阅读次数：
278
《统计学习方法》第9章 EM算法及其推广 EM算法是一种迭代算法，用于含有隐含变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成： E步，求期望（expectation）； M步，求极大（maximization）。 所以这一算法成...
分类：
编程语言 时间：
2015-06-24 16:00:38
阅读次数：
194
