码迷,mamicode.com
首页 > 其他好文 > 详细

贝叶斯来理解高斯混合模型GMM

时间:2017-08-09 16:49:39      阅读:221      评论:0      收藏:0      [点我收藏+]

标签:target   估计   get   height   net   .com   sdn   技术   输入   

最近学习基础算法《统计学习方法》,看到利用EM算法估计高斯混合模型(GMM)的时候,发现利用贝叶斯的来理解高斯混合模型的应用其实非常合适。

首先,假设我们对于贝叶斯比较熟悉,对高斯分布也熟悉。本文将GMM用于聚类来举例。

 

除了简单的高斯分布,理论上通过组合多个不同的高斯分布可以构成任意复杂的分布函数。如下图所示:

技术分享

 

最大似然,贝叶斯方法与朴素贝叶斯分类中,2.1中提到高斯概率密度用来计算连续变量情况下的朴素贝叶斯概率。该情况下的高斯分布是训练已知,然后对于输入变量求取其概率密度,结合类别的先验概率从而进一步实现分类。

而利用高斯混合模型进行聚类,本质上可以这么理解:数据的分布由若干高斯分布组合而成,需要通过传入的无标记数据,求解出各个高斯模型的参数和各个模型的先验概率!不同于一般利用最大似然估计参数的情况在于。由于传入的数据无标记,也就是说缺少了观测数据的类别这个隐藏信息,所以这个隐藏信息的概率分布也成了估计内容之一,从而无法通过求偏导进行梯度下降来求解,于是利用了EM来进行(EM算法就是利用最大化似然函数的下界来迭代求解)。

 

不同于K-Means聚类算法直接把每一个数据点的归类,高斯混合模型求解出的的分布密度,然后一般归类为最大后验概率一类。

 

参考:

李航《统计学习方法》

高斯混合模型的终极理解

贝叶斯来理解高斯混合模型GMM

标签:target   估计   get   height   net   .com   sdn   技术   输入   

原文地址:http://www.cnblogs.com/lesliexong/p/7277170.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!