最近一直研究和看EM算法，尝试理解它的含义和用途，一直被人们称为“上帝的算法”，现在我就谈一下几点自己的看法。 它主要运用的场景应该是含有隐变量的地方，其中一个典型的情况就是混合高斯模型。用通俗的话来说，当一个模型很难描述数据的分布的情况时，需要多个模型的时候，便会引入隐变量的概念。一般问题，假设一 ...
分类：
编程语言 时间：
2017-06-02 09:46:16
阅读次数：
171
1.最小二乘法 注：这里假定你了解向量的求导公式，并且知道正态分布和中心极限定律（不知道的可以去数学知识索引翻翻） (线性)最小二乘回归解法： 损失函数：平方损失，这里的误差可能是多种独立因素加和造成的，所以我们假定其符合均值为0的高斯分布，继而可以推出平方损失。参考Andrew Ng机器学习公开课 ...
分类：
其他好文 时间：
2017-06-01 10:35:58
阅读次数：
255
文本主题模型之LDA(一) LDA基础 文本主题模型之LDA(二) LDA求解之Gibbs采样算法 文本主题模型之LDA(三) LDA求解之变分推断EM算法 本文是LDA主题模型的第三篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA基础，同时由于使用了EM算法，如果你对EM算法不熟悉，建议 ...
分类：
编程语言 时间：
2017-05-22 13:40:11
阅读次数：
1493
原文在这里 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光 ...
分类：
编程语言 时间：
2017-05-05 23:06:37
阅读次数：
239
机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。 我希望自 ...
分类：
编程语言 时间：
2017-04-25 18:33:17
阅读次数：
176
一、记录机器学习中的基本算法学习参考资源 1、EM算法 原理：http://blog.csdn.net/sajiahan/article/details/53106642 ...
分类：
编程语言 时间：
2017-04-12 16:26:03
阅读次数：
157
1.极大似然估计 http://blog.csdn.net/bingduanlbd/article/details/24384771 2.GMM概念： http://blog.csdn.net/abcjennifer/article/details/8198352 EM算法： http://www. ...
分类：
其他好文 时间：
2017-03-24 23:01:11
阅读次数：
218
EM算法简介，讲述了EM的算法原理及思想，用混合高斯模型（GMM）为例完成了一个完整的EM过程，还有GMM算法的Python实践。
分类：
编程语言 时间：
2017-03-24 16:03:29
阅读次数：
264
EM算法）The EM Algorithm EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Je ...
分类：
编程语言 时间：
2017-03-10 13:17:49
阅读次数：
231
假设有一堆数据点,它是由两个线性模型产生的。公式如下： 模型参数为a,b,n：a为线性权值或斜率，b为常数偏置量，n为误差或者噪声。 一方面，假如我们被告知这两个模型的参数，则我们可以计算出损失。 对于第i个数据点，第k个模型会预测它的结果 则，与真实结果的差或者损失记为： 目标是最小化这个误差。 ...
分类：
编程语言 时间：
2017-01-21 21:18:01
阅读次数：
334
