在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-10-05 15:42:18
阅读次数：
312
最大似然估计是一种非常有效的参数估计的数学方法，常用于在主题建模等领域。其思想是，对于已知的样本，假设它服从某种模型，估计模型中未知的参数，使该模型出现这些样本的概率最大。...
分类：
其他好文 时间：
2014-10-05 15:26:18
阅读次数：
173
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-10-02 13:57:43
阅读次数：
348
贝叶斯统计是基于贝叶斯定理的一种经典的统计学习方法。假定样本为X，参数为θ，则贝叶斯统计为：P(θ|X)=P(X|θ)*P(θ)/P(X)。其中，P(θ)为先验分布，P(X|θ)表示似然概率，P(θ|X)表示后验分布。在贝叶斯统计中，最重要的一个问题是关于先验分布的选择，它会在很大程度上影响最终结果...
分类：
其他好文 时间：
2014-09-23 21:44:35
阅读次数：
177
最大似然估计： 这个我们大学学习概率一直用到的东西，其实非常牛逼！ 什么是最大似然估计？ 问题：给定一组观察数据还有一个参数待定的模型，如何来估计这个未知参数呢？ 观察数据（x1，y1）......(xn,yn) 待定模型参数为θ，模型为f（x;θ）。这时候可以借助观察数据来估计这个θ。这...
分类：
其他好文 时间：
2014-09-11 19:05:12
阅读次数：
193
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
“老虎与甲壳虫一个外表软一个硬，但实际上却相反”；
“无论干什么，最后脚都是要踩到实地的“；
”将军很多变为奴隶的，奴隶的环境逼迫他们去成为将军“；
去的路上，望着公交的窗纱，突然窗纱的一个个小格子不就是像素点吗，每个点你只能看到一种颜色及亮度值电视里午间新闻30分播放梁振英致香港市民的中秋家书，用的是粤语，由于之前主播已介绍大致纲要，所以能听懂一些语句，这让我联想到机器学习中最大似然问题，...
分类：
其他好文 时间：
2014-09-07 22:29:35
阅读次数：
217
Bayes公式告诉我们\begin{align*} p(y|x) = \frac{p(x|y)p(y)}{p(x)} \end{align*}其中$p(y)$被称为先验分布，是我们对随机变量$y$的初始信念；$p(x|y)$被称作似然，它表示的是在给定$y$的条件下$x$的概率，这个可从观测数据.....
分类：
其他好文 时间：
2014-09-02 02:38:33
阅读次数：
219
1.背景 最大似然估计是概率论中常常涉及到的一种统计方法。大体的思想是，在知道概率密度f的前提下，我们进行一次采样，就可以根据f来计算这个采样实现的可能性。当然最大似然可以有很多变化，这里实现一种简单的，实际项目需要的时候可以再更改。 博主是参照wiki来学习的，地址请点击我 这里实现的是特别简单的例子如下（摘自wiki的最大似然）离散分布，离散...
分类：
编程语言 时间：
2014-08-25 11:53:54
阅读次数：
1655
0、基石——贝叶斯推断计算后验概率即为我们对参数的估计：其中： ——输入数据 ——待估计的参数 ——似然分布 ——参数的先验分布对新样本的预测：我们要估计的概率1、常用的概率分布Dirichlet Distribution2、文本建模2.1 基本模型——unigram model最基本的一种文本模型...
分类：
其他好文 时间：
2014-08-09 02:24:56
阅读次数：
234
