原文 ：http://tecdat.cn/?p=3433 本文我们讨论期望最大化理论，应用和评估基于期望最大化的聚类。 软件包 install.packages("mclust"); require(mclust) ## Loading required package: mclust ## Pac ...
分类：
编程语言 时间：
2019-07-27 13:14:31
阅读次数：
221
文章目录1. 什么是EM算法1.1 似然函数1.3 极大似然函数的求解步骤1.4 EM算法2. 采用 EM 算法求解的模型有哪些？3.代码实现4. 参考文献 1. 什么是EM算法 最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模.... ...
分类：
编程语言 时间：
2019-07-21 13:17:26
阅读次数：
138
一、简介 EM 的英文是 Expectation Maximization，所以 EM 算法也叫最大期望算法。 我们先看一个简单的场景：假设你炒了一份菜，想要把它平均分到两个碟子里，该怎么分？ 很少有人用称对菜进行称重，再计算一半的分量进行平分。大部分人的方法是先分一部分到碟子 A 中，然后再把剩余 ...
分类：
编程语言 时间：
2019-07-06 19:31:14
阅读次数：
134
Note sth about GMM(Gaussian Mixtrue Model) "高斯混合模型的终极理解" "高斯混合模型（GMM）及其EM算法的理解" 这两篇博客讲得挺好，同时讲解了如何解决GMM参数问题的EM算法，其实GMM式子没有什么高深的地方，都是概率论的东西，主要是构思比较巧妙。 动 ...
分类：
其他好文 时间：
2019-06-17 12:38:18
阅读次数：
105
这篇博客整理K均值聚类的内容，包括： 1、K均值聚类的原理； 2、初始类中心的选择和类别数K的确定； 3、K均值聚类和EM算法、高斯混合模型的关系。 一、K均值聚类的原理 K均值聚类（K-means）是一种基于中心的聚类算法，通过迭代，将样本分到K个类中，使得每个样本与其所属类的中心或均值的距离之和 ...
分类：
编程语言 时间：
2019-05-13 14:14:06
阅读次数：
763
一、EM算法概述 EM算法（Expectation Maximization Algorithm，期望极大算法）是一种迭代算法，用于求解含有隐变量的概率模型参数的极大似然估计（MLE）或极大后验概率估计（MAP）。EM算法是一种比较通用的参数估计算法，被广泛用于朴素贝叶斯、GMM（高斯混合模型）、K ...
分类：
编程语言 时间：
2019-05-12 00:55:20
阅读次数：
208
EM算法与高斯混合模型 前言 EM算法是一种用于含有隐变量的概率模型参数的极大似然估计的迭代算法。如果给定的概率模型的变量都是可观测变量，那么给定观测数据后，就可以根据极大似然估计来求出模型的参数，比如我们假设抛硬币的正面朝上的概率为p（相当于我们假设了概率模型），然后根据n次抛硬币的结果就可以估计 ...
分类：
编程语言 时间：
2019-03-05 21:29:26
阅读次数：
229
1. 前言 我们之前有介绍过 "4. EM算法 高斯混合模型GMM详细代码实现" ，在那片博文里面把GMM说涉及到的过程，可能会遇到的问题，基本讲了。今天我们升级下，主要一起解析下EM算法中GMM（搞事混合模型）带惩罚项的详细代码实现。 2. 原理 由于我们的极大似然公式加上了惩罚项，所以整个推算的 ...
分类：
编程语言 时间：
2019-01-16 21:49:46
阅读次数：
195
当概率模型依赖于无法观测的隐性变量时，使用普通的极大似然估计法无法估计出概率模型中参数。此时需要利用优化的极大似然估计：EM算法。 在这里我只是想要使用这个EM算法估计混合高斯模型中的参数。由于直观原因，采用一维高斯分布。 一维高斯分布的概率密度函数表示为： 多个高斯分布叠加在一起形成混合高斯分布： ...
分类：
编程语言 时间：
2019-01-01 16:08:21
阅读次数：
235
概述 EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。 EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation ...
分类：
编程语言 时间：
2018-12-23 22:15:30
阅读次数：
298
