文本特征向量 经典的向量空间模型(VSM: Vector Space
Model)由Salton等人于60年代提出，并成功地应用于著名的SMART文本检索系统。VSM概念简单,把对文本内容的处理简化为向量空间中的向量运算,并且它以空间上的相似度表达语义的相似度,直观易懂。当文档被表示为文档空间的向量...
分类：
其他好文 时间：
2014-06-07 06:02:47
阅读次数：
248
还没读TFIDFSimilarity的代码，读了一下lucene的文档，没有特复杂，感觉还是非常严谨的。对于查询q和文档d,如果查询为纯token查询，套用向量空间模型(VSM),相似度度量使用余弦，另外再加一个coord(q,d)即d中满足q中must和should查询条件个数的度量(预计通常是m...
分类：
其他好文 时间：
2014-05-31 12:26:13
阅读次数：
447
第48期百度技术沙龙上的《大数据场景下主题检索应用》讲座介绍了很多训练大规模主题模型的技术细节。讲座回来后，我粗略整理了下讲座上涉及的主题模型和训练大规模模型相关的资料和文献。
1. 主题模型的发展历史
a. 布尔模型 Boolean model
b. 向量空间模型 VSM (Vector space model)
c. 潜在语义索引 LSI (Latent...
分类：
其他好文 时间：
2014-05-03 21:40:07
阅读次数：
371
