码迷,mamicode.com
首页 > 编程语言 > 详细

EM算法的基本原理和推导

时间:2018-08-20 00:28:07      阅读:5753      评论:0      收藏:0      [点我收藏+]

标签:str   分享   证明   png   基本原理   下界   最大   class   arch   

参考: 

从最大似然到EM算法浅解

(EM算法)The EM Algorithm

EM算法的九层境界:Hinton和Jordan理解的EM算法

 

在EM算法的证明中,其实比较好理解,总结如下:

从最大似然估计出发 ====>  将隐变量暴露出来,写出累加/积分的 形式 ===> 引入Q(z),表示隐变量z的概率密度函数

==> 对于log函数,利用 Jensen不等式的变形:  f(E(x)  >= E(f(x)),得到最大似然函数的下界 

===> 对于log函数的Jenson不等式而言,只有当 X的变量取常量时,则可以不等式才能取到等号;

则得到等式;

以上的过程如下:

技术分享图片

技术分享图片

技术分享图片

技术分享图片

技术分享图片

具体的计算过程如下:

技术分享图片

技术分享图片

固定好了Q(z),再去调整参数 Θ ,使得下界最大,如下图所示:

技术分享图片

技术分享图片

收敛性的证明:见参考一或吴恩达的课程

技术分享图片

技术分享图片

--------------------

--------------------

EM算法的基本原理和推导

标签:str   分享   证明   png   基本原理   下界   最大   class   arch   

原文地址:https://www.cnblogs.com/vincentbnu/p/9503284.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!