标签：
很多时候算法没有搞明白其实是一堆符号没有明白是神马意思...所以本文，着重告诉大家，这堆符号，到底都，代表神马！
我就奇怪了，谁发明了这么多符号(——多么希望是我-.-
以下使用到的图片来自上海交大杨旸老师的课件，网址如下：http://bcmi.sjtu.edu.cn/~yangyang/ml/
我们首先来宏观认识一下EM算法。其实EMs就是K-means的升级版，也是就是说K-means是EM的一种特殊情况~相当于一个二维一个多维的关系
分割线前边讲算法，后边讲证明。
想知道K-means是神马？看下图（中文解释在上一篇）：
有的时候分类并不是简单的一个函数就OK的，于是我们需要把很多函数组合起来，于是就有了MM（Mixture Models），如果组合的那些函数都是高斯函数，那就是GMM（Gausian Mixture Model）
和上一节测度的区别就是：
测度是改变训练数据 X 来使得分类更加容易（准确）
混合模型是改变分类模型来增加分类的准确率
第一个式子没看懂
如果分类标签Zn = k , 那么Znk就是1，如果不等于，则为0...好像是这样的，但是具体神马含义呢0.0
第二个式子：
当zn 取 k的概率为1时（也就是zn = k）的情况下 xn 发生的概率。
那个sigma如果在高斯里边可以理解为方差，这里边也可以换成别的~比如：如果换成对角线全为1的矩阵，就变成了K-means。
第三个式子：
上图 u 前边那个竖线可以不用管他，N这个就代表高斯模型，u 就是均值，后边那个sigma就是方差。如果一定要翻译 | 它的话，那就是当x在后边的均值和方差的条件下，我们可以这样计算概率。
pie 就是各个模型前边的系数，以多大的比例对这个模型产生影响。
上边那个式子，就是每个实例的标签为训练标签的概率
下面这个PPT上的公式就是把这些概率乘起来，下面会解释为什么要乘起来
D = 那个式子的意思是，数据集里有N个实例x
下边那个式子那前边一样。我再通俗地啰嗦地解释一下这个式子为神马写成这个样子：
我们从里向外依次解释哈~
pie * N： 代表每个模型 N 都不是完全作用于这个分类器的，它们以系数 pie 的比例参与到分类器中。
sigma：代表把上边的那些部分参与的分类器（共 k 个）都加起来，这样就可以算最终的概率啦。
连乘： 我们需要使得每个预测样本被正确分到它那一类的概率最大，等价于所有的正确分类的概率相乘最大。
那么你怎么知道这些概率就是正确的概率呢？因为我们现在还在训练样本，亲，标签也包含在公式里。（如果不太理解，可以看一下本页上一个PPT或者之前SVM那篇文章后半部分）
argmax就是求让L最大的pie, u, sigma。可以通过求导来求（可以看一下之前SVM那篇文章后半部分）
如果我们不知道 Zn呢？我们可以先猜一个u和sigma，然后算出 Zn，再根据算出的 Zn 求u和sigma，如此不断循环
其实和K-means很像啦
=========================================我是分割线===========================================
其实我觉得到这里已经讲清楚了EM（特殊情况 K-means）算法是怎么应用在 MM （含GMM）上了，下边的内容没啥用吧。。
就是证明EM算法可以找到最优解（局部最优）
=========================================我是分割线===========================================
E是根据随机产生（首次使用）或者根据之前的标签算得的系数（例如：u, sigma）计算标签（分类）的过程
M是根据上一步产生的新的标签更新系数的过程
第一个公式就是如果标签 Z 是已知的，那么 l 是很好求的
第二个公式就是如果 Z 是不知道的，那么这个式子并不好求，因为sigma在log里边，据说推导一下公式就会发现求不出来。。所以我们下一步就要把sigma弄出来
于是我们就给第二个式子找了个上界，也算是半等价吧
我们把上边那个 l 改了个名字，叫 F
一个方向是概率，一个方向是系数，刚好对应E和M两个过程~
下边这个图没看明白。。嗯。。
然后就总结了~good！
标签：
原文地址：http://blog.csdn.net/sun7_she/article/details/51331700
