陈某在B站上面搜索了监督学习和非监督学习 看完了一段40分钟左右介绍非监督学习算法中介绍期望最大算法（EM算法）的教学视频 也顺带又复习了一遍二项分布以及标准正态的概率密度 极大似然估计的计算方法 了解了算法背景 极大似然估计存在局限性 1.需要事先假定假定数据分类 2.假设的数据分布与真实的数据分 ...
分类：
其他好文 时间：
2019-12-23 20:39:21
阅读次数：
94
讲授聚类算法的基本概念，算法的分类，层次聚类，K均值算法，EM算法，DBSCAN算法，OPTICS算法，mean shift算法，谱聚类算法，实际应用。 大纲： 聚类问题简介聚类算法的分类层次聚类算法的基本思想簇之间距离的定义k均值算法的基本思想k均值算法的流程k均值算法的实现细节问题实验EM算法简 ...
分类：
编程语言 时间：
2019-12-21 18:25:07
阅读次数：
92
一、引子 一种迭代算法，1977年由Dempster等人提出，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。每次迭代由两部分构成，E步求期望，M步求极大，称为期望极大算法。 概率模型有时既含有观测变量，又含有隐变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估 ...
分类：
编程语言 时间：
2019-12-20 18:37:52
阅读次数：
88
1.EM算法概念 EM 算法，全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。 1.1 问题描述 我们假设学校男生和女生分别服从两种不同的正态分布， ...
分类：
编程语言 时间：
2019-12-09 17:00:50
阅读次数：
86
一般地，用$Y$表示观测随机变量的数据，$Z$表示隐随机变量的数据，$Y$和$Z$连在一起称为完全数据，观测数据$Y$又称为不完全数据。假设给定观测数据$Y$，其概率分布是$P(Y|\theta)$，其中$\theta$是需要估计的模型参数。那么不完全数据$Y$的似然函数是$P(Y|\theta)$ ...
分类：
编程语言 时间：
2019-11-24 15:39:44
阅读次数：
82
假设每个簇的数据都符合高斯分布，当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果 用多个高斯分布函数的线性组合来对数据分布进行拟合 生成式模型 核心思想 每个单独的分模型都是标准高斯模型，其均值$\mu_i$和方差$\sum_i$是待估计的参数。此外，每个分模型还有一个权重参数$\pi_i$。 ...
分类：
其他好文 时间：
2019-11-24 15:26:38
阅读次数：
64
高斯混合模型 混合模型，顾名思义就是几个概率分布密度混合在一起，而高斯混合模型是最常见的混合模型； GMM，全称 Gaussian Mixture Model，中文名高斯混合模型，也就是由多个高斯分布混合起来的模型； 概率密度函数为 K 表示高斯分布的个数，αk 表示每个高斯分布的系数，αk>0，并 ...
分类：
编程语言 时间：
2019-11-18 18:18:47
阅读次数：
84
本文参考自：https://www.jianshu.com/p/154ee3354b59 和 李航博士的《统计学习方法》 1. 2. 创建观测结果数据 输出一下，观察一下结果： 结果： matrix([[0., 0., 1., 1., 1., 1., 0., 1., 0., 1.]]) 3. EM算 ...
分类：
编程语言 时间：
2019-11-04 11:27:02
阅读次数：
82
Factor_Analysis（因子分析） "Factor Analysis 简书" ：较好理解的解释，其中公式有一定的推导（仅展现关键步骤，细节大多需要自行补充），基本为结论式。 感性层面理解： 首先，明确FA和PCA的区别。PCA做的是对某个样本，试图寻找到一组方差尽量大的线性表示（基向量），以 ...
分类：
其他好文 时间：
2019-09-13 10:27:08
阅读次数：
99
EM算法理解 来源：[知乎：Evan]（https://www.zhihu.com/question/27976634/answer/252238739） 1. EM算法产生的原因 EM算法是为了解决《最大似然估计》中更复杂的情形而存在的。 这里“极大似然估计中更复杂的情形”是什么情形呢？ 我们知道 ...
分类：
编程语言 时间：
2019-08-22 01:01:44
阅读次数：
102
