非常早就想看看EM算法，这个算法在HMM（隐马尔科夫模型）得到非常好的应用。这个算法公式太多就手写了这部分主体部分。 好的參考博客：最大似然预计到EM，讲了详细样例通熟易懂。 JerryLead博客非常不错 混合高斯模型算法 非常早就想看看EM算法，这个算法在HMM（隐马尔科夫模型）得到非常好的应用 ...
分类：
编程语言 时间：
2016-04-17 10:21:33
阅读次数：
177
基本概念
1Markov Models
2Hidden Markov Models
3概率计算算法前向后向算法
1-3-1直接计算
1-3-2前向算法
1-3-3后向算法
4学习问题Baum-Welch算法也就是EM算法
5预测算法基本概念1.1Markov Models 处理顺序数据的最简单的方式是忽略顺序的性质，将观测看做独立同分布，然而这样无法利用观测之间的相关性。例如：预测下明天是否会下雨...
分类：
其他好文 时间：
2016-04-05 17:54:36
阅读次数：
206
我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。 一、EM算法的预备知识 1、极大似然估计 （1）举例说明：经典问题——学生身高问题 我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他们按照性别划分 ...
分类：
编程语言 时间：
2016-04-01 14:45:06
阅读次数：
374
第9章 EM算法及其推广
EM算法是一种迭代算法，用于含有隐变量(hidden variable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大( maximization )，所以这一算法称为期望极大算法(expectation maximization algorithm)，简称EM算法。
9...
分类：
编程语言 时间：
2016-03-30 13:15:16
阅读次数：
561
#coding:utf-8
import math
import copy
import numpy as np
import matplotlib.pyplot as pltisdebug = True#指定k个高斯分布参数，这里指定k=2。
#注意2个高斯分布具有相同方差Sigma，均值分别为Mu1,Mu2。
#共1000个数据#生成训练样本，输入6,40,20,2
#两类样本方差为6，
#...
分类：
编程语言 时间：
2016-03-10 17:30:42
阅读次数：
324
EM算法的基本思想
极大似然估计–示例
极大似然估计步骤
极大似然估计求解
EM算法
EM算法步骤
EM算法推导
EM算法的高斯混合模型应用
高斯混合模型参数估计的EM算法
E步
M步
两个模型均值估计结果...
分类：
编程语言 时间：
2016-03-10 17:27:53
阅读次数：
213
在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering） 领域。最大期望算法经过两个步骤交替进行计
分类：
编程语言 时间：
2016-03-01 20:48:49
阅读次数：
676
本文将详细介绍期望最大化（EM）算法的原理推导和算法内涵，这也是机器学习中最重要的算法之一。...
分类：
编程语言 时间：
2016-02-03 00:21:15
阅读次数：
256
一、机器学习中的參数预计问题 在前面的博文中，如“简单易学的机器学习算法——Logistic回归”中，採用了极大似然函数对其模型中的參数进行预计，简单来讲即对于一系列样本，Logistic回归问题属于监督型学习问题，样本中含有训练的特征X_i" title="X_i" alt="">以及标签。在L....
分类：
编程语言 时间：
2016-01-11 20:08:15
阅读次数：
398
参考文献：http://blog.csdn.net/zouxy09/article/details/8537620极大似然估计已知样本满足某种概率分布，但是其中具体的参数不清楚，极大似然估计估计就是把待估参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生当前样本的概率最大下的参数值。贝叶斯估...
分类：
编程语言 时间：
2016-01-07 01:10:05
阅读次数：
252
