极大似然估计（MLE）提供了一种 给定观察数据来评估模型参数的方法，MLE 的问题形式是这样的，给定来自随机变量 $X$ 的数据集合 $\left \{ x_1,x_2 ,..., x_N \right \}$ , $X$ 的概率密度函数 $f(x|\theta)$ ,其中 $\theta$ 是为概 ...
分类：
编程语言 时间：
2016-06-06 18:30:10
阅读次数：
613
一、引言 我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 ...
分类：
其他好文 时间：
2016-06-04 19:33:16
阅读次数：
418
2016/5/23 星期一 11:00 电商主要做推荐 搜索主要做CTR 图像的话，主要应用DL 高斯混合就是： 1. 是一种无监督的聚类手段，而且是软聚类，即 给出的每一个 data 数属于各个类的概率 2. 拟合任意分布的概率密度函数 【观点】使用高斯分布拟合 任意分布 一般不作为单独任务，因为 ...
分类：
编程语言 时间：
2016-05-25 20:22:01
阅读次数：
293
设总体分布,X1,…,Xn为来自这个总体中抽出的样本，则样本（X1,…,Xn）的分布为：，记为。 固定，而看做x1,…,xn的函数时，L是一个概率密度函数。可以这样理解：若，则在观察时出现这个点的可能性要比出现这个点的可能性要大。把这件事反过来，可以这样想：当已经观察到时，若，则被估计的参数是的可能... ...
分类：
其他好文 时间：
2016-05-16 17:05:11
阅读次数：
184
华电北风吹
日期：2016-05-07高斯混合模型是一个无监督学习算法，主要用思路是利用EM算法对混合高斯分布进行极大似然估计。一、高斯混合分布
对于有kk个高斯分布混合而成的混合高斯分布的概率密度函数有
p(x)=∑zp(x|z)p(z)(1)p(x)=\sum_z p(x|z)p(z) \tag{1}
对于随机变量zz有zz~Multinomial(?)Multinomial(\phi)...
分类：
其他好文 时间：
2016-05-13 03:40:48
阅读次数：
261
Skew（偏度）
在概率论和统计学中，偏度衡量实数随机变量概率分布的不对称性。偏度的值可以为正，可以为负或者甚至是无法定义。在数量上，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（包括中位数在内）位于平均值的右侧。偏度为正（正偏态）就意味着在概率密度函数右侧的尾部比左侧的长，绝大多数的值（但不一定包括中位数）位于平均值的左侧。偏度为零就表示数值相对均匀地分布在平均值...
分类：
其他好文 时间：
2016-04-29 19:55:52
阅读次数：
284
本文介绍高斯混合模型（Gaussian mixture model,简称GMM）及其推导。从数学角度来看待该模型。该模型是对单一高斯概率密度函数的扩展延伸。可以对任意形状的密度分布进行平滑的近似。其在图像处理领域，可以实现提取背景图像。...
分类：
其他好文 时间：
2016-04-29 17:17:55
阅读次数：
243
Skew（偏度）
在概率论和统计学中，偏度衡量实数随机变量概率分布的不对称性。偏度的值可以为正，可以为负或者甚至是无法定义。在数量上，偏度为负（负偏态）就意味着在概率密度函数左侧的尾部比右侧的长，绝大多数的值（包括中位数在内）位于平均值的右侧。偏度为正（正偏态）就意味着在概率密度函数右侧的尾部比左侧的长，绝大多数的值（但不一定包括中位数）位于平均值的左侧。偏度为零就表示数值相对均匀地分布在平均值...
分类：
其他好文 时间：
2016-04-26 21:50:15
阅读次数：
533
上篇学习了PDF的参数估计方法，主要有最大似然估计和贝叶斯估计，他们主要对有确定形式的PDF进行参数估计，而在实际情况下，并不能知道PDF的确切形式，只能通过利用所有样本对整个PDF进行估计,而且这种估计只能是利用数值方法求解。...
分类：
其他好文 时间：
2016-04-22 20:12:06
阅读次数：
171
粒子滤波的理论实在是太美妙了，用一组不同权重的随机状态来逼近复杂的概率密度函数。其再非线性、非高斯系统中具有优良的特性。opencv给出了一个实现，但是没有给出范例，学习过程中发现网络上也找不到。learning opencv一书中有介绍，但距离直接使用还是有些距离。在经过一番坎坷后，终于可以用了， ...
分类：
其他好文 时间：
2016-04-17 20:27:03
阅读次数：
247
