给定训练集，我们希望构建该数据联合分布这里，其中是概率，并且，用表示可能的取值。因此，我们构建的模型就是假设是由生成，而是从中随机选择出来的，那么就服从个依赖于的高斯分布中的一个。这就是高斯混合模型。是潜在随机变量，即它是隐藏的或者观察不到的，这将使得估计问题变得棘手。上面公式太多，作一个总结，总体...
分类：
编程语言 时间：
2014-10-30 20:50:13
阅读次数：
448
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2014-10-27 10:40:28
阅读次数：
316
EM：最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。1 极大似然估计 假设有如图1的X所示的抽取的n个学生某门课程的成绩，又知....
分类：
编程语言 时间：
2014-10-19 21:17:00
阅读次数：
339
将学习EM算法过程中看到的好的资料汇总在这里，供以后查询，也供大家参考。
1. 这是我学习EM算法最先看的优秀的入门文章，讲的比较通俗易懂，而且举了例子来说明其中的原理，不错！
http://blog.csdn.net/zouxy09/article/details/8537620...
分类：
编程语言 时间：
2014-10-16 22:34:53
阅读次数：
255
混合高斯模型和EM算法 这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与K-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，...
分类：
编程语言 时间：
2014-10-11 17:15:25
阅读次数：
231
最大期望算法：EM算法。在统计计算中，最大期望算法（EM）是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量。最大期望算法经过两个步骤交替进行计算：第一步是计算期望（E），利用对隐藏变量的现有估计，计算其最大似然估计值；第二步是最大化（M），最大化在E步上...
分类：
编程语言 时间：
2014-10-11 16:51:56
阅读次数：
549
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-10-05 15:42:18
阅读次数：
312
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-10-02 13:57:43
阅读次数：
348
看了原理和比人的代码后，终于自己写了一个EM的实现。我从网上找了一些身高性别的数据，用EM算法通过身高信息来识别性别。实现的效果还行，正确率有84% （初始数据 男生170 女生160 方差都是10） 79% （初始数据 男生165 女生150 方差都是10）正确率与初...
分类：
编程语言 时间：
2014-09-19 17:09:15
阅读次数：
929
1. 一个简单的例子 ????假设有3枚硬币，分别记作A，B，C。这些硬币正面出现的概率分别为π，p 和 q。进行如下掷硬币试验：首先掷硬币A，根据其结果选出硬币B或硬币C，正面选硬币B，反面选硬币C；然后掷选出的...
分类：
其他好文 时间：
2014-09-13 10:47:45
阅读次数：
216
