标签:贝叶斯 ash 简单的 简单 tail dash 函数 中心 概率分布
EM算法(Expectation-maximization),又称最大期望算法,是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计(或极大后验概率估计)
从定义可知,该算法是用来估计参数的,这里约定参数为 。既然是迭代算法,那么肯定有一个初始值,记为 ,然后再通过算法计算
通常,当模型的变量都是观测变量时,可以直接通过极大似然估计法,或者贝叶斯估计法估计模型参数。但是当模型包含隐变量时,就不能简单的使用这些估计方法
举个具体的栗子:
永远在你身后:Matplotlib输出动画实现K-means聚类过程可视化
K-means算法中,除了给定的样本(也就是观测变量) 以及参数 (也就是那些个聚类的中心)之外,还包含一个隐变量(记为 ),它是每个样本的所属类别
可以理解为,我们之所以对一批样本进行聚类,也是因为认为这些样本是有它们潜在的类别的,也就是说还有一个隐变量是我们没有(或者无法)观测到的
下面先给出EM算法的步骤公式,然后再对公式进行推导。假设在第 次迭代后参数的估计值为 ,对于第 次迭代,分为两步
关于的随机变量的函数的期望,公式在后面会给出
其中, 称为 函数,是EM算法的核心。下面就来对公式进行推导
给定一组观测数据记为 ,以及参数 。因为 是独立同分布,所以有以下对数似然函数:
可以通过极大似然估计来求解最优参数,即:
但是由于隐变量的存在, 变为
注意:联合概率公式 P(XZ)=P(X|Z)P(Z)
这样直接求解就变得困难,一个办法是构造一个容易优化的——关于对数似然函数的——下界函数,通过不断的优化这个下界,迭代逼近最优参数。为了方便下面推导流畅,提前先贴几个公式
随机变量的数学期望
随机变量函数的数学期望。设 ,则 的期望为:
下面是具体的推导。首先引入隐变量 的概率分布 ,满足
并且以下等式成立
两边同时取对数
同时求两边在 上的期望
因为 与 无关,所以求期望仍然不变:
然后将右边展开
由此得到对数似然函数的下界。并且当 ,上式可以取到等号,由相对熵的性质可知,相对熵为0,也就是
其中 是 的概率分布,但是因为无法观测 ,所以 未知,可以假设其等于 ,也就是 关于给定 与 的后验,且 是由初始值 一次次迭代计算而来,所以此处的 是迭代 次后的值
然后通过极大似然估计得到:
以上,就是EM算法中E步的由来,然后令 ,就得到了M步的公式
以上就是EM算法的推导过程,为了加深理解,我们可以换一个角度来总结一下。前面我们定义了似然函数
由于累加号嵌套在 函数中,难以直接进行求解,如果换一个似然函数,就容易的多
但是,又由于的 是隐变量,无法得到它的概率分布,只能通过给定的 和 来计算它的后验分布,然后求似然函数在此分布上的期望
最后,再寻找能使似然函数的期望最大化的参数
标签:贝叶斯 ash 简单的 简单 tail dash 函数 中心 概率分布
原文地址:https://www.cnblogs.com/qiu-hua/p/13040616.html