ML—高斯混合模型

华电北风吹
日期：2016-05-07

高斯混合模型是一个无监督学习算法，主要用思路是利用EM算法对混合高斯分布进行极大似然估计。

一、高斯混合分布
对于有$k$个高斯分布混合而成的混合高斯分布的概率密度函数有
$p(x)=\sum_z p(x|z)p(z) \tag{1}$
对于随机变量$z$有$z$~$Multinomial(\phi)$, 表示来自于不同的高斯分布的概率分别为$\phi_j,j=1,2,...,k$，即$p(z=j)=\phi_j$，其中$\phi_j \geq 0, \sum_{j=1}^k\phi_j=1$。对于每个高斯分布有$x|z$~$N(\mu_j,\Sigma_j)$。称满足以上分布的随机变量$x$服从高斯混合分布。

二、混合高斯模型
对于取样于混合高斯分布的$m$个随机取样样本$X=\{x^{(1)},x^{(2)},...,x^{(m)}\}$，混合高斯模型的目标是利用EM算法求解混合高斯分布的模型参数$\phi,\mu,\Sigma$。
对于取样样本的极大似然函数为
$L(\phi,\mu,\Sigma)=\prod_{i=1}^{m} p(x^{(i)};\phi,\mu,\Sigma)=\prod_{i=1}^{m} \sum_{z^{(j)}} p(x^{(i)}|z^{(j)};\mu,\Sigma)p(z^{(j)};\phi) \tag{2-1}$
写成对数似然函数为
$l(\phi,\mu,\Sigma)=\sum_{i=1}^{m} \log \sum_{z^{(j)}} p(x^{(i)}|z^{(j)};\mu,\Sigma)p(z^{(j)};\phi) \tag{2-2}$
直接对式(2-2)求导，按照普通的极大似然估计是不可解的。EM算法参考了kmeans算法的迭代思路可以很好的求解式(2-2)。
EM算法的过程如下
———————————————————————————-
$Algorithm$ $MixGM$
给定初值$\phi_0,\mu_0,\Sigma_0$
$Repeat$ $until$ $convergence$
　　　$E-step:$ For each i,j set
　　　　　　　$w_j^{(i)}:=p(z^{(i)}=j|x^{(i)};\phi,\mu,\Sigma)$
　　　$M-step:$ Update the parameters
　　　　　　　$\phi_j:=\frac{1}{m}\sum_{i=1}^{m}w_j^{(i)}$
　　　　　　　$\mu_j:=\frac{\sum_{i=1}^{m}w_j^{(i)}x^{(i)}}{\sum_{i=1}^{m}w_j^{(i)}}$
　　　　　　　$\Sigma_j:=\frac{\sum_{i=1}^{m}w_j^{(i)} (x^{(i)}-\mu_j)(x^{(i)}-\mu_j)^T }{\sum_{i=1}^{m}w_j^{(i)}}$
———————————————————————————-
在$Algorithm$ $MixGM$中，$E-step$其实是根据贝叶斯公式对每个样本求解它在当前参数下来自于各个高斯分布的后验概率，求解方式如下
$p(z^{(i)}=j|x^{(i)};\mu,\Sigma)=\frac{p(x^{(i)}|z^{(i)}=j;\phi,\mu,\Sigma)p(z^{(i)}=j;\phi)}{\sum_{l=1}^{k}p(x^{(i)}|z^{(i)}=l;\phi,\mu,\Sigma)p(z^{(i)}=l;\phi)} \tag{2-3}$
对于公式(2-2)中，若知道了隐含变量$z$的分布，公式就是可以用极大似然估计求解的。在$Algorithm$ $MixGM$中，$M-step$就是据此利用极大似然估计对模型参数$\phi,\mu,\Sigma$进行更新。