参考资料：http://blog.csdn.net/zouxy09/article/details/8537620
http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
我的数据挖掘算法代码实现：https://github.com/linyiqun/DataMiningAlgorithm
介绍
em算法是一种迭代...
分类：
编程语言 时间：
2015-01-20 22:23:34
阅读次数：
755
【转载】（EM算法）The EM Algorithm
分类：
编程语言 时间：
2015-01-16 12:59:08
阅读次数：
262
【转载】混合高斯模型（Mixtures of Gaussians）和EM算法
分类：
编程语言 时间：
2015-01-16 12:44:05
阅读次数：
168
基于概率统计的PLSA模型，并且用EM算法学习模型参数。PLSA的概率图模型如下
其中D代表文档，Z代表隐含类别或者主题，W为观察到的单词，表示单词出现在文档的概率，表示文档中出现主题下的单词的概率，给定主题出现单词的概率。并且每个主题在所有词项上服从Multinomial
分布，每个文档在所有主题上服从Multinomial 分布。整个文档的生成过程是这样的：
(1) 以的概率选中文...
分类：
其他好文 时间：
2015-01-09 22:26:13
阅读次数：
347
EM算法大致分为两步——E步骤和M步骤。
而在求解运算过程中，需要用到高斯分布，逆矩阵等数学知识。EM算法上篇先梳理一下基础的数学知识，具体EM算法的核心思想下篇再进行介绍。
由于公式，矩阵太多，便手写一份推导，贴在下面。...
分类：
编程语言 时间：
2015-01-09 21:00:58
阅读次数：
272
1. Jensen不等式
回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。
Jensen不等式表述如下：
如果f是凸函数，X是随机变量，那么
特别地，如果f是严格凸函数，那...
分类：
编程语言 时间：
2015-01-09 10:51:16
阅读次数：
340
聚类是一种无监督的学习（无监督学习不依赖预先定义的类或带类标记的训练实例），它将相似的对象归到同一个簇中，它是观察式学习，而非示例式的学习，有点像全自动分类。说白了，聚类（clustering）是完全可以按字面意思来理解的——将相同、相似、相近、相关的对象实例聚成一类的过程。机器学习中常见的聚类算法包括 k-Means算法、期望最大化算法（Expectation Maximization，EM，参考“EM算法原理”）、谱聚类算法（参考机器学习算法复习-谱聚类）以及人工神经网络算法，本文阐述的是K-均值聚类算...
分类：
编程语言 时间：
2015-01-07 16:49:33
阅读次数：
245
上一次刚写了LSA模型，本来这次想写PLSA模型，但是由于PLSA模型是需要用到EM算法的，所以这里我想先解释下EM算法，...
分类：
编程语言 时间：
2014-12-13 12:19:51
阅读次数：
195
PLSA是前面LSA的兄弟版，相比于LSA而言，PLSA定义了概率模型，而且每个变量以及相应的概率分布和条件概率分布都有明确的物理解释了。这篇博文我们分三部分来说PLSA：基本思想，EM算法推导，以及优缺点分析。...
分类：
其他好文 时间：
2014-12-04 12:21:21
阅读次数：
418
