我们有时称判别模型求的是条件概率，生成模型求的是联合概率。 常见的判别模型有线性回归、对数回归、线性判别分析、支持向量机、boosting、条件随机场、神经网络等。 常见的生产模型有隐马尔科夫模型、朴素贝叶斯模型、高斯混合模型、LDA、Restricted Boltzmann Machine等。 判 ...
分类：
其他好文 时间：
2017-09-16 23:21:30
阅读次数：
276
最近学习基础算法《统计学习方法》，看到利用EM算法估计高斯混合模型(GMM)的时候，发现利用贝叶斯的来理解高斯混合模型的应用其实非常合适。 首先，假设我们对于贝叶斯比较熟悉，对高斯分布也熟悉。本文将GMM用于聚类来举例。 除了简单的高斯分布，理论上通过组合多个不同的高斯分布可以构成任意复杂的分布函数 ...
分类：
其他好文 时间：
2017-08-09 16:49:39
阅读次数：
221
（图片from http://www.cnblogs.com/zhangchaoyang/articles/2624882.html） 假设x是二维的，那么上述公式为： =cov（x0，x1），是x1和x0的协方差。 单高斯分布 假设特征x是一维（仅仅考虑点的x坐标）的，高斯分布是：（from这篇博 ...
分类：
其他好文 时间：
2017-08-06 18:10:56
阅读次数：
179
异常检测，广泛用于欺诈检测（例如“此信用卡被盗？”）。 给定大量的数据点，我们有时可能想要找出哪些与平均值有显着差异。 例如，在制造中，我们可能想要检测缺陷或异常。 我们展示了如何使用高斯分布来建模数据集，以及如何将模型用于异常检测。 我们还将涵盖推荐系统，这些系统由亚马逊，Netflix和苹果等公 ...
分类：
其他好文 时间：
2017-03-12 17:45:55
阅读次数：
450
EM算法有很多的应用: 最广泛的就是GMM混合高斯模型、聚类、HMM等等. The EM Algorithm 高斯混合模型（Mixtures of Gaussians）和EM算法 EM算法 求最大似然函数估计值的一般步骤： （1）写出似然函数； （2）对似然函数取对数，并整理； （3）求导数，令导数 ...
分类：
编程语言 时间：
2017-01-08 13:09:56
阅读次数：
437
对于高斯混合模型是干什么的呢？它解决什么样的问题呢？它常用在非监督学习中，意思就是我们的训练样本集合只有数据，没有标签。 它用来解决这样的问题：我们有一堆的训练样本，这些样本可以一共分为K类，用z(i)表示。，但是具体样本属于哪类我们并不知道，现在我们需要建立一个模型来描述这个训练样本的分布。这时，... ...
分类：
编程语言 时间：
2016-12-05 02:02:34
阅读次数：
577
混合高斯模型简介 混合高斯模型基于多变量正态分布。类gmdistribution通过使用EM算法来拟合数据，它基于各观测量计算各成分密度的后验概率。 高斯混合模型常用于聚类，通过选择成分最大化后验概率来完成聚类。与k-means聚类相似，高斯混合模型也使用迭代算法计算，最终收敛到局部最优。高斯混合模 ...
分类：
其他好文 时间：
2016-11-15 17:14:27
阅读次数：
396
高斯混合模型GMM是一个非常基础并且应用很广的模型。对于它的透彻理解非常重要。网上的关于GMM的大多资料介绍都是大段公式，而且符号表述不太清楚，或者文笔非常生硬。本文尝试用通俗的语言全面介绍一下GMM，不足之处还望各位指正。 首先给出GMM的定义 这里引用李航老师《统计学习方法》上的定义，如下图： ...
分类：
其他好文 时间：
2016-08-08 21:04:21
阅读次数：
2159
高斯混合模型参数估计的EM算法，python实现 ...
分类：
编程语言 时间：
2016-07-22 22:50:22
阅读次数：
224
