码迷,mamicode.com
首页 > 编程语言 > 详细

概率图:HMM:Learning问题(EM算法)

时间:2020-07-11 11:16:14      阅读:99      评论:0      收藏:0      [点我收藏+]

标签:问题   约束   info   资料   VID   shu   参数表   src   width   

一:问题描述

Learning问题就是参数估计问题,也就是求模型参数λ,具体形式为 :λ_hat=argmax P(O|λ)   【通过最大化似然求得最优模型参数 λ;优化算法用EM,可类比GMM模型中求θ用的EM】

二、EM算法应用于HMM-learning模型的公式推导(具体可参考之前博客GMM:EM)

 技术图片

                                                                                 (来源:B站up主,shuhuai008,板书) 

备注:

①最后求出技术图片后,需要再代回技术图片,最后得到t+1时刻的Π值。【拉格朗日乘子法也可以用于求数值解】

②将EM算法应用于HMM算法的求解,其实就是引入EM算法的公式(用HMM的参数表达),另外加上拉格朗日乘子法得到λ=(Π,A,B)的迭代公式

技术图片

       用HMM参数表达的EM算法

公式推导中的关键小技巧:

③积分求和与条件概率=> 化简公式

④隐含约束:Σ1NΠi=1

⑤EM算法表达为求解最大值形式:argmax,带上隐含约束即为带约束的最值问题,自然地想到用拉格朗日乘子法求解。

  

参考资料:

1.https://www.bilibili.com/video/BV1MW41167Rf?p=5。作者:shuhuai008

概率图:HMM:Learning问题(EM算法)

标签:问题   约束   info   资料   VID   shu   参数表   src   width   

原文地址:https://www.cnblogs.com/feynmania/p/13282639.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!