在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-02-09 21:34:57
阅读次数：
231
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GM...
分类：
编程语言 时间：
2015-02-01 21:47:26
阅读次数：
264
PLSA模型的再理解以及源码分析
之前写过一篇PLSA的博文，其中的收获就是知道PLSA是LSA在概率层面的扩展，知道了PLSA是一种主题模型，知道了PLSA中的参数估计使用的是EM算法。当时我就认为，这样子经典好用的算法，我是会回头再来理解它的，这样子才会有更加深刻的心得。所以有了这篇PLSA模型的再理解。
1. 两种思路解PLSA模型
参考了很多...
分类：
其他好文 时间：
2015-01-30 22:50:32
阅读次数：
663
已经介绍了统计参数的举估计，下面介绍另外一种估计，并且比较这两者。
对于一组样本，它们无条件是独立的。那么考虑到联合分布函数与边缘分布函数的关系，利用乘法原理，我们发现，样本的联合分布函数是：
（离散）
（连续）
又发现，它们是与总体同分布的：，那么连续的情况还可以写作：
现如今上面的式子中存在未知的参数，。把 L 换做以众多未知参数为元，就得到了：
...
分类：
其他好文 时间：
2015-01-18 13:13:01
阅读次数：
188
极大似然估计又称最大似然估计，对于一个已知的模型来说，还有些参数是不确定的，但是有了真实数据，那么这些参数可不可计算出呢？或者估计出最有可能的情况？举个例子，例如有一组来自正态分布（也叫高斯分布）的样本数据，每个样本的数据都独立同分布，比如是正态分布，但正态分布的参数μ,σ都不知道，如果用极大似然估...
分类：
其他好文 时间：
2015-01-16 23:40:51
阅读次数：
238
instanceof RegExp //RegExp是JS中的类，同Array类似。然而这个创建方法没有指定表达式内容 varre=newRegExp(); //最简单的正则表达式，将匹配字母are=newRegExp("a"); //重载的构造函数，其第二个参数指定将不区分大小写r...
分类：
Web程序 时间：
2015-01-16 10:03:09
阅读次数：
163
求解最大似然估计时发现有两种表示方法
from:Gregor Heinrich - Parameter estimation for text analysis
from:http://blog.csdn.net/pipisorry/article/details/42649657
有上述两种方法表示的原因
p(x|theta)不总是代表条...
分类：
其他好文 时间：
2015-01-14 21:27:13
阅读次数：
213
下面是转载http://blog.csdn.net/yanqingan/article/details/6125812博客的内容最大似然估计学习总结1. 作用在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。2. 离散型设为离散型随机变量，...
分类：
其他好文 时间：
2015-01-13 12:15:27
阅读次数：
246
一．问题：1.Svm是什么2.什么是支持向量3.什么是最优间隔分类法4.最优间隔分类法与最小二乘、最大似然法的比較5.什么是拉格朗日6.什么是对偶7.为什么要做对偶8.什么是KKT条件9.为什么满足KKT条件强对偶成立10.Svm怎样解决非线性问题？神经网络呢？11.什么是核函数12.Svm怎样面对...
分类：
其他好文 时间：
2015-01-11 10:58:19
阅读次数：
715
古德-图灵估计可以解决n元语法模型(n-gram)中的数据的稀疏问题。主要的思想是把非零的n元语法的概率降低匀给一些低概率n元语法，以修改最大似然估计与真实概率之间的偏离。是实用比较多的平滑算法。 图：从左到右的变化：把一部分看得见的事件的概率匀给未看见的事件 ...
分类：
其他好文 时间：
2014-12-20 23:16:52
阅读次数：
548
