§第三部分，GMM的另一种解法
在本部分，讲义中利用简森不等式（Jensen's Inequality）来实现GMM的求解。
在开始之前，首先对该不等式进行说明。由于对数函数f(x)=ln(x)是一个凹函数，可得到下面的不等式
ln[λxi+(1-λ)x2]>=λln(x1)+(1-λ)ln(x2)
推广该式可得到简森不等式（ Jensen's Inequality）
...
分类：
其他好文 时间：
2016-04-29 16:34:01
阅读次数：
167
EM算法的基本思想
极大似然估计–示例
极大似然估计步骤
极大似然估计求解
EM算法
EM算法步骤
EM算法推导
EM算法的高斯混合模型应用
高斯混合模型参数估计的EM算法
E步
M步
两个模型均值估计结果...
分类：
编程语言 时间：
2016-03-10 17:27:53
阅读次数：
213
复习： 1.概率密度函数，密度函数，概率分布函数和累计分布函数概率密度函数一般以大写“PDF”（ProbabilityDensityFunction），也称概率分布函数，有的时候又简称概率分布函数。 而累计分布函数是概率分布函数的积分。 注意区分从数学上看，累计分布函数F(x)=P(X_<这个我可不...
分类：
其他好文 时间：
2016-01-20 06:17:56
阅读次数：
449
[1]http://www.cnblogs.com/luxiaoxun/archive/2013/05/10/3071672.html
分类：
其他好文 时间：
2015-12-07 22:14:16
阅读次数：
156
Chapter 1 :Classification
1.1 Gaussian-Mixture-Models
1.add_sample_class_gmm
功能：把一个训练样本添加到一个高斯混合模型的训练数据上。
2.classify_class_gmm
功能：通过一个高斯混合模型来计算一个特征向量的类。
3. clear_all_class_gmm
功能：清除所有高斯混合模型。...
分类：
其他好文 时间：
2015-08-28 17:51:25
阅读次数：
636
Chapter 1:Classification 用于各类分类操作，其中包括对高斯混合模型的操作、对分类器的相关操作、对感知器的相关操作以及对支持向量机的相关操作。Chapter 2 ：Control ，用于程序的执行控制。包括程序常用的跳转语句，比如continue、if/else、for等等。Chapter3 :Develop，主要用于窗口的操作，比如窗口的关闭、显示等。Chapter 4 :...
分类：
其他好文 时间：
2015-08-28 17:50:52
阅读次数：
367
下面介绍一下几种典型的机器算法首先第一种是高斯混合模型算法:高斯模型有单高斯模型（SGM）和混合高斯模型（GMM）两种。（1）单高斯模型：为简单起见，阈值t的选取一般靠经验值来设定。通常意义下，我们一般取t=0.7-0.75之间。二维情况如下所示：（2）混合高斯模型： 对于(b)图所示的情况，很明....
分类：
编程语言 时间：
2015-08-25 15:56:53
阅读次数：
276
本节简单介绍了聚类算法：K-means算法、高斯混合模型（GMM）及EM算法。...
分类：
编程语言 时间：
2015-06-20 09:18:51
阅读次数：
359
提出混合模型主要是为了能更好地近似一些较复杂的样本分布，通过不断增加component个数，可以任意地逼近任何连续的概率分布，所以我们认为任何样本分布都可以用混合模型来建模。因为高斯函数具有一些很实用的性质，所以高斯混合模型被广泛地使用。
GMM与kmeans类似，也是属于clustering，不同的是，kmeans是把每个样本点聚到其中一个cluster，而GMM是给出这些样本点到每个c...
分类：
编程语言 时间：
2015-06-12 01:02:10
阅读次数：
330
这一部分属于无监督学习的内容，无监督学习内容主要包括：Kmeans聚类算法、高斯混合模型及EM算法、Factor Analysis、PCA、ICA等。本文是Kmeans聚类算法、高斯混合模型的笔记，EM算法是适用于存在latent/hidden变量的通用算法，高斯混合模型仅仅是EM算法的一种特殊情况，关于EM算法的推到参见Andrew Ng讲义。由于公式太多，最近时间又忙实习的事就简单写一些，回头...
分类：
其他好文 时间：
2015-05-15 20:02:24
阅读次数：
683
