在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-06-23 17:21:55
阅读次数：
258
简单易学的机器学习算法——EM算法一、机器学习中的参数估计问题 在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，采用了极大似然函数对其模型中的参数进行估计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征以及标签，在Logistic....
分类：
编程语言 时间：
2015-06-21 11:50:17
阅读次数：
417
本节简单介绍了聚类算法：K-means算法、高斯混合模型（GMM）及EM算法。...
分类：
编程语言 时间：
2015-06-20 09:18:51
阅读次数：
359
文章《EM算法学习笔记1：简介》中介绍了EM算法的主要思路和流程，我们知道EM算法通过迭代的方法，最后得到最大似然问题的一个局部最优解。本文介绍标准EM算法背后的原理。我们有样本集X，隐变量Z，模型参数θ\theta，注意他们3个都是向量，要求解的log似然函数是lnp(X|θ)lnp(X|\theta)，而这个log似然函数难以求解，我们假设隐变量Z已知，发现lnp(X,Z|θ)lnp(X,Z|\...
分类：
编程语言 时间：
2015-06-18 22:14:56
阅读次数：
209
一、EM算法简介
EM算法是期望极大(Expectation Maximization)算法的简称，是一种解决存在隐含变量优化问题的有效方法。...
分类：
编程语言 时间：
2015-06-12 14:54:15
阅读次数：
294
提出混合模型主要是为了能更好地近似一些较复杂的样本分布，通过不断增加component个数，可以任意地逼近任何连续的概率分布，所以我们认为任何样本分布都可以用混合模型来建模。因为高斯函数具有一些很实用的性质，所以高斯混合模型被广泛地使用。
GMM与kmeans类似，也是属于clustering，不同的是，kmeans是把每个样本点聚到其中一个cluster，而GMM是给出这些样本点到每个c...
分类：
编程语言 时间：
2015-06-12 01:02:10
阅读次数：
330
集群之后，我们经常要用到EM算法（i.e. Estimation - Maximization）预计参数, 函数的凹/凸性，在estimation和maximization两步中迭代地进行參数预计。并保证能够算法收敛。达到局部最优解。PS：为了不在11.11这个吉祥的日子发blog，还是打算今天发了...
分类：
编程语言 时间：
2015-06-11 18:41:55
阅读次数：
160
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-06-09 19:40:33
阅读次数：
1154
（EM算法）The EM Algorithm下面主要介绍EM的整个推导过程。1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 ...
分类：
编程语言 时间：
2015-05-26 12:09:45
阅读次数：
241
上一篇笔记中，介绍了因子分析模型，因子分析模型使用d维子空间的隐含变量z来拟合训练数据，所以实际上因子分析模型是一种数据降维的方法，它基于一个概率模型，使用EM算法来预计參数。本篇主要介绍PCA(Principal Components Analysis, 主成分分析)，也是一种降维方法，可是该方法...
分类：
其他好文 时间：
2015-05-18 14:41:29
阅读次数：
145
