EM算法

标签：

     转载请注明出处: http://www.cnblogs.com/gufeiyang

　  个人微博：flysea_gu

    首先考虑这么一个问题。操场东边有100个男生，他们的身高符合高斯分布。操场西边有100个女生，她们的身高也符合高斯分布。 如果告诉了男生的身高，我们很容易用极大似然估计求出正态分布的参数。 同理，给出了女生的身高，我们也很容易得到高斯分布的参数。 接下来事情发生了， 男生跑入女生队伍中， 然后统计了200个人的身高，但是却不知道每个身高是男的还是女生的。 这样的话就很纠结了。 如果我们要是知道了每个身边的性别改多好啊， 知道了性别就可以用极大似然得到两个高斯分布的参数了。 如果我们知道了高斯分布的参数，那么我就可以估计出来每个身高属于男女的概率。 忽然间我们发现这是一个“先有鸡还是先有蛋” 的问题。

    EM算法基本思想：假设我们想估计的参数为A，B。 开始的时候A和B都未知， 但是如果我们知道了A，就能得到B。 我们得到了B就可以得到A。 EM会给A一个初始值，然后得到B，再由B得到A， 再得到B，一直迭代到收敛为止。

    说完了EM算法的基本思想， 下面我讲详细介绍EM算法的公式推导。

    现在有样本集 X1,X2......Xm, 一共m个样本， 每个样本都有一个隐变量Zi,但是这个变量却不知道（隐变量嘛）。 我们需要估计的概率模型为P(X|Z)的参数θ。针对上一个例子，X为身高，Z给男女，θ为高斯分布的参数。

未完待续.......

参考资料：

《统计学习方法》   李航著 

zouxy09博客    http://blog.csdn.net/zouxy09/article/details/8537620

EM算法

标签：

原文地址：http://www.cnblogs.com/gufeiyang/p/5036970.html