共轭分布是一种极大简化贝叶斯分析的方法。其作用是有两个：1.简化贝叶斯公式中概率函数的计算；2.在贝叶斯公式包含多种概率分布的情况下，使这些分布的未知参数在试验前被赋予的物理意义，延续到试验后，便于分析。第二个作用尤为重要。...
分类：
其他好文 时间：
2014-10-06 10:19:30
阅读次数：
162
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-10-05 15:42:18
阅读次数：
312
最大似然估计是一种非常有效的参数估计的数学方法，常用于在主题建模等领域。其思想是，对于已知的样本，假设它服从某种模型，估计模型中未知的参数，使该模型出现这些样本的概率最大。...
分类：
其他好文 时间：
2014-10-05 15:26:18
阅读次数：
173
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-10-02 13:57:43
阅读次数：
348
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
这个暂时还不太明白，先写一点明白的。EM:最大期望算法，属于基于模型的聚类算法。是对似然函数的进一步应用。我们知道，当我们想要估计某个分布的未知值，可以使用样本结果来进行似然估计，进而求最大似然估计就可以估计出要求的参数。但是有时候还会有未知参数，这样就不能使用极大似然估计。当然这个参数与我们要估计...
分类：
其他好文 时间：
2014-08-05 18:17:09
阅读次数：
180
本文作为em算法在图模型中的一个应用，推导plsa的em算法。1 em算法em算法是解决一类带有隐变量模型的参数估计问题。1.1 模型的定义输入样本为，对应的隐变量为。待估计的模型参数为，目标为极大化似然函数对于上式的优化，不能通过直接对进行求导，因为一旦求导，就有如下的形式：显然是不好求的。1.2...
分类：
其他好文 时间：
2014-08-02 18:09:53
阅读次数：
527
似然函数：似然函数在形式上就概率密度函数。 似然函数用来估计某个参数。最大似然函数：就是求似然函数的最大值。 最大似然函数用于估计最好的参数。最小二乘法：它通过最小化误差的平方和寻找数据的最佳函数匹配。就是求 y=a1+a2x的系数。通过最小化误差的平方，然后求系数的偏导数，令导数为0，求...
分类：
其他好文 时间：
2014-07-24 22:50:53
阅读次数：
261
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
其他好文 时间：
2014-07-18 19:25:06
阅读次数：
204
接着上次的一篇文章：http://blog.csdn.net/acdreamers/article/details/27365941
在上次这篇文章中，对于Logistic回归问题，我们已经写出它的最大似然函数，现在来求最大似然估计。所以对似
然函数求偏导数，得到了个方程，即
由于我们只要根据这个方程解出所有的即可，但是这不是一件容易的事，还有Logis...
分类：
其他好文 时间：
2014-07-15 10:27:29
阅读次数：
1015
