标签：为什么 训练 em算法 size 关注 这就是我 blog step 迭代
目录
EM算法（4）：EM算法证明
1. 概述
上一篇博客我们已经讲过了EM算法，EM算法由于其普适性收到广泛关注，高频率地被运用在各种优化问题中。但是EM算法为什么用简单两步就能保证使得问题最优化呢？下面我们就给出证明。
2. 证明
现在我们已经对EM算法有所了解，知道其以两步（E-step和M-step）为周期，迭代进行，直到收敛为止。那问题就是，在一个周期内，目标函数的值是否增加了？如果能保证其每个周期都在增加的话，那么其必然收敛到一个局部最大值处。这就是我们EM算法所需要证明的，即：
$Q(\theta;\theta^{(i+1)}) \geqslant Q(\theta;\theta^{(i)})$
首先我们的目标函数$lnp(\mathbf{X}|\theta)$可以用包含确实信息的概率表示，即：
$lnp(\mathbf{X}|\theta) = \sum_Ylnp(\mathbf{X},\mathbf{Y}|\theta)$
利用
标签：为什么 训练 em算法 size 关注 这就是我 blog step 迭代
原文地址：http://www.cnblogs.com/ccienfall/p/6216687.html
