K-means算法属于无监督学习聚类算法，其计算步骤还是挺简单的，思想也挺容易理解，而且还可以在思想中体会到EM算法的思想。K-means 算法的优缺点：
1.优点：容易实现
2.缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢
使用数据类型：数值型数据以往的回归算法、朴素贝叶斯、SVM等都是有类别标签y的，因此属于有监督学习，而K-means聚类算法只有x，没有y在聚类问题中，我们的...
分类：
编程语言 时间：
2015-04-17 13:54:08
阅读次数：
162
本节内容： 1、混合高斯模型； 2、将混合高斯模型应用到混合贝叶斯模型；（应用：文本聚类） 3、结合EM算法，讨论因子分析算法； 4、高斯分布的有用性质。混合高斯模型将一般化的EM算法流程（下载笔记）应用到混合高斯模型因子分析模型因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即...
分类：
其他好文 时间：
2015-04-02 14:44:36
阅读次数：
298
这种算法用于含有隐变量的概率参数模型的最大似然值估计或极大后验概率估计。第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。本人不太...
分类：
编程语言 时间：
2015-03-13 18:06:26
阅读次数：
120
【转载请注明出处】http://www.cnblogs.com/mashiqi 2015/3/13 对于隐变量只有有限个取值(比如个)的情况，我们可以将隐变量表示为，其中且。这样表示的目的主要是为了使后面的计算方便。如果： 则我们可以把表示为： 下面，我们看看怎么得到complete-data lo...
分类：
编程语言 时间：
2015-03-13 15:54:50
阅读次数：
173
一：算法介绍期望最大化算法，跟k-means一样属于基于划分的聚类，其实EM算法跟k-means算法思想很相似，主要步骤：期望步(E-步):给定当前的簇中心，每个对象都被指派到簇中心离该对象最近的簇。就是期望每个对象都属于最近的簇。最大化步(M-步)：给定簇指派，对应每个簇，算法调整期中心，使得指派...
分类：
编程语言 时间：
2015-03-12 22:09:19
阅读次数：
196
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-02-09 21:34:57
阅读次数：
231
GMM这是图像处理，模式识别和深度学习领域一个百嚼不烂的话题。很多人被一堆数学公式，迭代求和和看似毫无联系的likehood EM算法搞得糊里糊涂。其实就算羡慕着很多牛气哄哄的学霸炫耀公式推理的IT普工们，我们有没有问过自己，我们真的知道GMM吗？于是有些人和我一样有了如下的思考和疑问：1.到底什么...
分类：
编程语言 时间：
2015-02-07 18:40:37
阅读次数：
10644
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-02-01 21:47:26
阅读次数：
264
PLSA模型的再理解以及源码分析
之前写过一篇PLSA的博文，其中的收获就是知道PLSA是LSA在概率层面的扩展，知道了PLSA是一种主题模型，知道了PLSA中的参数估计使用的是EM算法。当时我就认为，这样子经典好用的算法，我是会回头再来理解它的，这样子才会有更加深刻的心得。所以有了这篇PLSA模型的再理解。
1. 两种思路解PLSA模型
参考了很多...
分类：
其他好文 时间：
2015-01-30 22:50:32
阅读次数：
663
看商务智能软件数据挖掘方面的算法理论时经常感觉一些公式的推导过程如天书一般,例如看svm的数学证明,EM算法..,感觉知识跳跃比较大,那么数据挖掘系统的学习过程是怎么样?磨刀不误砍柴工。在学习数据挖掘之前应该明白几点：数据挖掘目前在中国的尚未流行开，犹如屠龙之技。数据初期的准备通常占整个数据挖掘项目...
分类：
其他好文 时间：
2015-01-25 13:49:01
阅读次数：
142
