在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2014-11-09 15:08:43
阅读次数：
348
Likehood函数即似然函数，是概率统计中经常用到的一种函数，其原理网上很容易找到，这里就不讲了。这篇博文主要讲解Likelihood对回归模型的Probabilistic interpretation。在我们的回归模型中由于其他因素的影响我们的预测函数为： 其中 为影响预测的其他因素或者说噪.....
分类：
其他好文 时间：
2014-10-30 20:44:37
阅读次数：
199
1. 极大似然与最大概率 因为不是科班出身，所以最初接触极大似然的时候，总是很奇怪为什么叫极大似然，而不直接叫做最大概率？ 后来才知道极大似然是用来估计未知参数的，而最大概率的表述更适合于已知参数的情况下，求解出现最大概率的变量的，举例如下： Max L(θ) =θ1x1+θ2x2+θ3x3 ...
分类：
其他好文 时间：
2014-10-29 10:27:57
阅读次数：
137
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2014-10-27 10:40:28
阅读次数：
316
1、多项式分布 2、文本的多项式分布建模3、共轭先验4、概率平滑｛Lapace平滑、加1平滑、Dirichlet贝叶斯平滑、2阶段语言模型｝5、似然函数6、log似然函数7、期望最大化算法8、条件概率9、贝叶斯全公式10、生成模型11、判别模型12、条件期望13、拉格朗日系数14、VSM，LSI，P...
分类：
其他好文 时间：
2014-10-19 21:18:18
阅读次数：
198
EM：最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。1 极大似然估计 假设有如图1的X所示的抽取的n个学生某门课程的成绩，又知....
分类：
编程语言 时间：
2014-10-19 21:17:00
阅读次数：
339
对于$D$维数据集$X$，若其样本$\boldsymbol{x}$服从$\mathcal{N} (\boldsymbol{x} | \boldsymbol{\mu}, \boldsymbol{A})$，那么用极大似然法对协方差矩阵$\boldsymbol{A}$进行估计时，则不可避免会遇到\be.....
分类：
其他好文 时间：
2014-10-12 04:37:17
阅读次数：
286
最大期望算法：EM算法。在统计计算中，最大期望算法（EM）是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量。最大期望算法经过两个步骤交替进行计算：第一步是计算期望（E），利用对隐藏变量的现有估计，计算其最大似然估计值；第二步是最大化（M），最大化在E步上...
分类：
编程语言 时间：
2014-10-11 16:51:56
阅读次数：
549
在逻辑回归之问题建模分析中我们提到最大化参数θ的最大化似然函数可以用梯度下降法，对参数进行更新直至上面的对数似然函数收敛。下面引入另一种方法：牛顿方法。开始，首先我们考虑如何找到一个函数的零点。也就是我们有一个函数：，我们希望找到一个值θ，使得.我们首先随机取某一点(x,f(x))，那么f(x)在该...
分类：
其他好文 时间：
2014-10-07 12:01:13
阅读次数：
288
共轭分布是一种极大简化贝叶斯分析的方法。其作用是有两个：1.简化贝叶斯公式中概率函数的计算；2.在贝叶斯公式包含多种概率分布的情况下，使这些分布的未知参数在试验前被赋予的物理意义，延续到试验后，便于分析。第二个作用尤为重要。...
分类：
其他好文 时间：
2014-10-06 10:19:30
阅读次数：
162
