EM算法与高斯混合模型 前言 EM算法是一种用于含有隐变量的概率模型参数的极大似然估计的迭代算法。如果给定的概率模型的变量都是可观测变量，那么给定观测数据后，就可以根据极大似然估计来求出模型的参数，比如我们假设抛硬币的正面朝上的概率为p（相当于我们假设了概率模型），然后根据n次抛硬币的结果就可以估计 ...
分类：
编程语言 时间：
2019-03-05 21:29:26
阅读次数：
229
极大似然估计学习时总会觉得有点不可思议，为什么可以这么做，什么情况才可以用极大似然估计。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。 一、极大似然估计的思想与举例 举个简单的栗子：在一个盒子里有白色黑色小球若干个，每次有放回地从里面哪一个球，已知抽到白球的概率可 ...
分类：
其他好文 时间：
2019-01-20 15:57:40
阅读次数：
245
二项逻辑回归模型是如下的条件概率分布： 其中x∈是输入，y∈{0，1}是输出。 为了方便，将权值向量和输入向量进行扩充，此时w = ,x = ,回归模型表示如下： 参数w未知，采用统计学中的极大似然估计来由样本估计参数w。对于0-1分布x ~ B(1 , p)，x的概率密度函数可以表示为： 其中k ...
分类：
其他好文 时间：
2019-01-14 20:08:47
阅读次数：
191
当概率模型依赖于无法观测的隐性变量时，使用普通的极大似然估计法无法估计出概率模型中参数。此时需要利用优化的极大似然估计：EM算法。 在这里我只是想要使用这个EM算法估计混合高斯模型中的参数。由于直观原因，采用一维高斯分布。 一维高斯分布的概率密度函数表示为： 多个高斯分布叠加在一起形成混合高斯分布： ...
分类：
编程语言 时间：
2019-01-01 16:08:21
阅读次数：
235
概述 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation ...
分类：
编程语言 时间：
2018-12-23 22:15:30
阅读次数：
298
原 极大似然估计详解 2017年05月28日 00:55:10 知行流浪 阅读数：124758 所属专栏： 人工智能相关 2017年05月28日 00:55:10 知行流浪 阅读数：124758 所属专栏： 人工智能相关 所属专栏： 人工智能相关 版权声明：本文为博主原创文章https://极大似然 ...
分类：
其他好文 时间：
2018-12-23 15:18:04
阅读次数：
152
这涉及到数学的概率问题。 二元变量分布： 伯努利分布，就是0-1分布(比如一次抛硬币，正面朝上概率) 那么一次抛硬币的概率分布如下： 假设训练数据如下： 那么根据最大似然估计（MLE）,我们要求u： 求值推导过程如下： 所以可以求出： 以上的推导过程就是极大似然估计，我们可以看出u就是样本出现的频率 ...
分类：
其他好文 时间：
2018-12-19 23:24:42
阅读次数：
257
1. 前言 概率模型有时既含有观测变量(observable variable)，又含有隐变量或潜在变量（latent variable），如果仅有观测变量，那么给定数据就能用极大似然估计或贝叶斯估计来估计model参数；但是当模型含有隐变量时，需要一种含有隐变量的概率模型参数估计的极大似然方法估计 ...
分类：
编程语言 时间：
2018-12-15 17:14:12
阅读次数：
244
由k个高斯模型加权组成，α是各高斯分布的权重，Θ是参数。对GMM模型的参数估计，就要用EM算法。更一般的讲，EM算法适用于带有隐变量的概率模型的估计，即不同的高斯分布所对应的类别变量。 为何不能使用极大似然估计，如果直接使用极大似然估计，没有考虑数据中的隐变量，很明显是不合适的。 那我们将隐变量考虑 ...
分类：
编程语言 时间：
2018-12-10 11:45:11
阅读次数：
234
EM算法：让期望最大化的算法最大似然估计：已知：样本服从分布的模型 观测到的样本求解：模型的参数 极大似然估计是用来估计模型参数的统计学方法 就是什么参数能使得样本符合这么一个模型最大似然函数：什么样的参数使得出现当前这批样本概率最大 利用结果推出参数的最大值 问题提升：有两个类别，这两个类别都服从 ...
分类：
编程语言 时间：
2018-11-26 20:58:40
阅读次数：
23591
