华电北风吹
日期：2016-05-07高斯混合模型是一个无监督学习算法，主要用思路是利用EM算法对混合高斯分布进行极大似然估计。一、高斯混合分布
对于有kk个高斯分布混合而成的混合高斯分布的概率密度函数有
p(x)=∑zp(x|z)p(z)(1)p(x)=\sum_z p(x|z)p(z) \tag{1}
对于随机变量zz有zz~Multinomial(?)Multinomial(\phi)...
分类：
其他好文 时间：
2016-05-13 03:40:48
阅读次数：
261
Mixtures of Gaussian
这一讲，我们讨论利用EM (Expectation-Maximization)做概率密度的估计。假设我们有一组训练样本x(1),x(2),...x(m){x^{(1)}, x^{(2)},...x^{(m)}},因为是unsupervised的学习问题，所以我们没有任何y的信息。
我们希望利用一个联合分布p(x(i),z(i))=p(x(i)|z(i)...
分类：
编程语言 时间：
2016-05-12 17:49:17
阅读次数：
158
最大似然函数
我们没法直接用求导解方程的办法直接求得最大值。可以采用EM算法
换成公式3形式求最大似然函数，其中Qi(z(i))用以下求，p(xi,zi;θ)为下式分子带入3中求最大似然函数的参数值为2.
其中 ，并且 也顺理成章地可以估计为 。
重复迭代前面两步，直到似然函数的值收敛为止。
下列为GMM参考代码l连接点击...
分类：
其他好文 时间：
2016-05-12 12:37:15
阅读次数：
195
声明：
1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。
2，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。
3，如果有内容错误或不...
分类：
编程语言 时间：
2016-05-12 11:28:38
阅读次数：
273
声明：
1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。
2，由于本人在学习初始时有很多数学知识都已忘记，所以为了弄懂其中的内容查阅了很多资料，所以里面应该会有引用其他帖子的小部分内容，如果原作者看到可以私信我，我会将您的帖子的地址付到下面。
3，如果有内容错误或不...
分类：
编程语言 时间：
2016-05-12 11:26:07
阅读次数：
239
很多时候算法没有搞明白其实是一堆符号没有明白是神马意思...所以本文，着重告诉大家，这堆符号，到底都，代表神马！
我就奇怪了，谁发明了这么多符号(——多么希望是我-.-
以下使用到的图片来自上海交大杨旸老师的课件，网址如下：http://bcmi.sjtu.edu.cn/~yangyang/ml/
我们首先来宏观认识一下EM算法。其实EMs就是K-means的升级版，也是...
分类：
编程语言 时间：
2016-05-07 11:17:09
阅读次数：
470
EM算法 作者：樱花猪 摘要： 本文为七月算法（julyedu.com）12月机器学习第十次次课在线笔记。EM算法全称为Expectation Maximization Algorithm，既最大期望算法。它是一种迭代的算法，用于含有隐变量的概率参数模型的最大似然估计和极大后验概率估计。EM算法经常 ...
分类：
编程语言 时间：
2016-05-05 10:51:58
阅读次数：
225
问题引入先思考这样一个问题：我们知道，人群中人的身高大致服从一个正态分布。那么现在，如果说我拿到了一个班的学生（就姑且假设是100人吧！）的身高，我想请你帮我估计一下，这个正态分布的参数θ:N(μ,σ)\theta:N(\mu,\sigma)。如何估计？好简单。应用极大似然估计的思想，把每一个样本拿出来相乘，求解得到概率最大的那个参数，即为我们想要的参数θ\theta好，现在我们将问题增加一点点难度...
分类：
编程语言 时间：
2016-04-29 19:29:06
阅读次数：
285
问题引入先思考这样一个问题：我们知道，人群中人的身高大致服从一个正态分布。那么现在，如果说我拿到了一个班的学生（就姑且假设是100人吧！）的身高，我想请你帮我估计一下，这个正态分布的参数θ:N(μ,σ)\theta:N(\mu,\sigma)。如何估计？好简单。应用极大似然估计的思想，把每一个样本拿出来相乘，求解得到概率最大的那个参数，即为我们想要的参数θ\theta好，现在我们将问题增加一点点难度...
分类：
编程语言 时间：
2016-04-26 21:35:52
阅读次数：
298
EM 算法所面对的问题跟之前的不一样，要复杂一些。 EM 算法所用的概率模型，既含有观测变量，又含有隐变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法来估计模型参数，但是，当模型含有隐变量时，情况就复杂一些，相当于一个双层的概率模型，要估计出两层的模型参数 ...
分类：
编程语言 时间：
2016-04-18 20:35:53
阅读次数：
190
