1、EM算法要解决的问题 如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。 EM算法解决这个的思路是使用启发式的迭代方法，既然我们无法直接求出模型分布参数，那么我们可以先猜想隐含数据（EM算法的E步），接着基于观察数据和猜测的隐含数据一起来极大化对数似然，求解我们的模型参 ...
分类：
编程语言 时间：
2018-08-09 23:14:09
阅读次数：
167
title: 最大似然估计和EM算法 date: 2018 06 01 16:17:21 tags: [算法，机器学习] categories: 机器学习 mathjax: true 本文是对最大似然估计和EM算法做的一个总结。 一般来说，事件A发生的概率与某个未知参数$\theta?$有关，$\t ...
分类：
编程语言 时间：
2018-08-05 17:01:24
阅读次数：
225
EM最大期望算法 目录 一、凸函数与凹函数的定义：1 二、Jensen不等式证明1 三、EM算法详解：1 1.最大似然1 2.EM算法1 3.EM算法推导1 4.EM算法步骤：1 5.EM算法的收敛性思考1 6.EM算法的一些思考1 一、凸函数与凹函数的定义： 1.凸函数定... ...
分类：
编程语言 时间：
2018-07-19 22:56:36
阅读次数：
283
谱聚类 广义上来说，任何在算法中用到SVD/特征值分解的，都叫Spectral Algorithm。顺便说一下，对于任意矩阵只存在奇异值分解，不存在特征值分解。对于正定的对称矩阵，奇异值就是特征值，奇异向量就是特征向量。 传统的聚类算法，如K-Means、EM算法都是建立在凸球形样本空间上，当样本空 ...
分类：
其他好文 时间：
2018-07-15 19:41:15
阅读次数：
201
概率模型的应用： 1.中心任务：在给定观测变量X的条件下，计算潜在变量Z的后验概率分布p(Z|X)，以及关于p的期望。 2.任何未知的参数都有一个先验概率分布 eg：对于EM算法来说我们需要计算完整数据的对数似然函数关于潜在变量Z的后验概率分布的期望。 但在实际情况下，求解许多模型的后验概率分布或者 ...
分类：
其他好文 时间：
2018-07-09 14:11:26
阅读次数：
280
LDA只是一个求解思路。 1.理解LDA首先要理解EM算法，EM不能叫做一个算法，只是一个思想：它要求解的其实是一个极大似然估计，就是我用已知量去求解导致这个已知量出现的最大概率，而在这里又恰恰有点偏，这个已知量是我们开始给定的这个初值，我们要去用这个已知量去求解最大，然后再用这个最大值再带入到我们 ...
分类：
其他好文 时间：
2018-05-24 23:06:07
阅读次数：
226
整理自： https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1 EM算法是用于含有隐变量模型的极大似然估计或者极大后验估计，有两步组成：E步，求期望（expectation）；M步，求极大（ma ...
分类：
其他好文 时间：
2018-05-09 22:42:59
阅读次数：
189
