现在来推导一下得到变分参数更新式的过程，这一部分是在论文的附录中，为避免陷入过多细节而影响整体理解，可以在刚开始学习LDA的时候先不关注求解细节。首先要把L写成关于γ,?\gamma,\phi函数。根据之前我们对L的定义：L(γ,?;α,β)=Eq[logp(θ,z,w|α,β)]?Eq[logq(θ,z)]L(\gamma,\phi;\alpha,\beta)=E_q[logp(\theta,\m...
分类：
其他好文 时间：
2015-06-12 17:13:43
阅读次数：
125
说明来源：http://docs.oracle.com/html/E35191_01/ldap-filters-attrs-users.html#ldap-filters-attributes-users-default用户、组和容器的默认 LDAP 过滤器和属性下表包含用户、组和容器的默认 LDA...
分类：
其他好文 时间：
2015-06-11 09:25:00
阅读次数：
279
Topic Model在考虑语义的情景中被广泛使用，实践证明效果也不错。本文总结了一些Topic Model实战技巧。利用优质“少量”数据学习模型，缓解单机速度和内存问题，对剩余/新文档做推导（可以数据并行）。比如用微博数据训练LDA时，先把长度短的微博过滤掉（有工作得出长度为7的文本已经适合LDA...
分类：
其他好文 时间：
2015-06-09 15:40:47
阅读次数：
741
最近学习了LDA Topic聚类算法，里面涉及到许多概率论的知识，需要回过头去学习，这里做个小结，方便记忆，同时也希望能把它讲明白。LDA模型算法简介： 算法 的输入是一个文档的集合D={d1, d2, d3, ... , dn}，同时还需要聚类的类别数量m；然后会算法会将每一篇文档 di 在 所....
分类：
其他好文 时间：
2015-06-09 00:55:35
阅读次数：
459
周末这两天在家用LDA做个小实验。在LDA的众多实现的工具包中，GibbsLDA 是应用最广泛的，包括c++版本、java版本等。GibbsLDA++ 是它的C++版本的实现，目前最新版本是0.2版。在实际使用过程中，发现这个实现版本有内存使用问题。我花了一些时间定位到了问题，贴出来供大家参考。
问题1：数组内存访问越界
在model.cpp中，用到了两个矩阵nw和nd，分别存储wor...
分类：
其他好文 时间：
2015-06-07 23:34:42
阅读次数：
310
（一）LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少，如TF-IDF等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但两个文档是相似的。 举个例子，有两个句子分别如下： “乔布斯离我们而去了。” “苹果...
分类：
其他好文 时间：
2015-06-02 12:54:29
阅读次数：
143
四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维...
分类：
编程语言 时间：
2015-05-30 20:59:04
阅读次数：
253
概念主题模型(PTM, probabilitytopical model)在自然语言处理(NLP,natural language processing)中有着重要的应用。主要包括以下几个模型：LSA(latentsemantic
analysis)、 PLSA(probability latent semantic analysis)、LDA(latentdirichlet allocati...
分类：
其他好文 时间：
2015-05-23 14:16:13
阅读次数：
242
LDA算法入门一．LDA算法概述：线性判别式分析(LinearDiscriminantAnalysis,LDA)，也叫做Fisher线性判别(FisherLinearDiscriminant,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析...
分类：
编程语言 时间：
2015-05-18 15:55:25
阅读次数：
312
张量是一种高维数据的组织方法。类似于一维的标量，二维的向量，三维及以上的数据统称为张量。传统的方法（例如PCA、SVD和LDA）对于维数比较高的数据，一般通过“硬”方法，直接降维成二维的数据形式（矩阵）进行处理。近些年，出现的2DPCA，2DSVD等新方法，是通过双向的对二维数据进行处理，在处理的过...
分类：
其他好文 时间：
2015-05-14 16:07:35
阅读次数：
259
