码迷,mamicode.com
首页 > 编程语言 > 详细

EM算法简易推导

时间:2018-10-26 14:22:08      阅读:143      评论:0      收藏:0      [点我收藏+]

标签:需要   参数   不包含   方法   sum   max   比较   splay   网上   

EM算法推导

网上和书上有关于EM算法的推导,都比较复杂,不便于记忆,这里给出一个更加简短的推导,用于备忘。

在不包含隐变量的情况下,我们求最大似然的时候只需要进行求导使导函数等于0,求出参数即可。但是包含隐变量,直接求导就变得异常复杂,此时需要EM算法,首先求出隐变量的期望值(E步),然后,把隐变量当中常数,按照不包含隐变量的求解最大似然的方法解出参数(M步),反复迭代,最终收敛到局部最优。下面给出EM算法的推导

我们有对数似然函数
\[ L(\theta)=\log P(y|\theta) = \log\sum_zp(y,z|\theta) \]
可以表示成包含隐变量\(z\)的形式,然后通过边缘化再消除\(z\),效果是一样的。

由于是迭代,我们需要每次得到的新的似然结果比上一次的似然结果要大,于是我们的目标是下式
\[ \theta = \arg\max_\theta L(\theta) - L(\theta') \]
由于$L(\theta‘) $ 是常量,所以,使得\(L(\theta)\)最大化即可。下面看看如何最大化 \(L(\theta)\) :
\[ \begin{split} \theta &= \arg\max_\theta L(\theta)\&= \arg\max_\theta \log\sum_zp(y,z|\theta)\&= \arg\max_\theta \log\sum_zp(z|y, \theta')\dfrac{p(y, z|\theta)}{p(z|y, \theta')}\&= \arg\max_\theta \sum_zp(z|y,\theta')\log\dfrac{p(y,z| \theta)}{p(z|y,\theta')}\&= \arg\max_\theta\sum_zp(z|y,\theta')\log(p(y, z|\theta))\&= \arg\max_\theta Q(\theta, \theta') \end{split} \]

至此,得到传说中的Q函数,然后求解出参数\(\theta\)即可

EM算法简易推导

标签:需要   参数   不包含   方法   sum   max   比较   splay   网上   

原文地址:https://www.cnblogs.com/crackpotisback/p/9855756.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!