"深入理解wmd算法" WMD（Word Mover’s Distance） "1" 是2015年提出的一种衡量文本相似度的方法。它具有以下几个优点： 效果出色：充分利用了 "word2vec" 的领域迁移能力 无监督：不依赖标注数据，没有冷启动问题 模型简单：仅需要词向量的结果作为输入，没有任何超 ...
分类：
编程语言 时间：
2019-08-31 21:26:54
阅读次数：
148
1.前言 在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性。 有了文本之间相似性的度量方式，我们便可以利用划分法的K means、基于密度的DBSCAN或者是基于模型的概率方法进行文本之间的聚 ...
分类：
其他好文 时间：
2018-10-14 13:55:19
阅读次数：
270
为此我们需要一种应对于海量数据场景的去重方案，经过研究发现有种叫 local sensitive hash 局部敏感哈希 的东西，据说这玩意可以把文档降维到hash数字，数字两两计算运算量要小很多。查找很多文档后看到google对于网页去重使用的是simhash，他们每天需要处理的文档在亿级别，大大 ...
分类：
编程语言 时间：
2018-09-05 17:28:37
阅读次数：
1001
"Awesome Repositories for NLI and Semantic Similarity" mainly record pytorch implementations for NLI and similarity computing |REPOSITORY|REFERENCE| | ...
分类：
编程语言 时间：
2018-08-12 15:45:51
阅读次数：
1274
TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型，文本搜索排序等一系列应用奠定基础。基本应用如： https://blog.csdn.net/blmoistawinde/article/details/80816179 ...
分类：
其他好文 时间：
2018-07-22 23:28:38
阅读次数：
458
参考资料：https://radimrehurek.com/gensim/models/word2vec.html接上篇：importjiebaall_list=jieba.cut(xl[‘工作内容‘][0:6],cut_all=True)print(all_list)every_one=xl[‘工作内容‘].apply(lambdax:jieba.cut(x))importtracebackde
分类：
其他好文 时间：
2018-05-29 17:47:33
阅读次数：
266
参考资料：https://radimrehurek.com/gensim/models/word2vec.html接上篇：importjiebaall_list=jieba.cut(xl[‘工作内容‘][0:6],cut_all=True)print(all_list)every_one=xl[‘工作内容‘].apply(lambdax:jieba.cut(x))importtracebackde
分类：
其他好文 时间：
2018-05-29 17:44:58
阅读次数：
404
去除标点符号，下一步开始文本相似度计算：参考文章：http://www.jb51.net/article/139690.htmfromgensim.modelsimportWord2Vecmodel=Word2Vec(sentences,sg=1,size=100,window=5,min_count=5,negative=3,sample=0.001,hs=1,workers=4)参数解释：1.
分类：
其他好文 时间：
2018-05-28 18:28:54
阅读次数：
332
转载： 简介 针对文本相似判定，本文提供余弦相似度和SimHash两种算法，并根据实际项目遇到的一些问题，给出相应的解决方法。经过实际测试表明：余弦相似度算法适合于短文本，而SimHash算法适合于长文本，并且能应用于大数据环境中。 余弦相似度 余弦定理： 图-1 余弦定理图示 性质： 余弦值的范围 ...
分类：
其他好文 时间：
2018-05-19 13:13:28
阅读次数：
226
环境 Python3， gensim，jieba，numpy ，pandas 原理：文章转成向量，然后在计算两个向量的余弦值。 Gensim gensim是一个python的自然语言处理库，能够将文档根据TF IDF, LDA, LSI 等模型转化成向量模式，gensim还实现了word2vec功能 ...
分类：
其他好文 时间：
2018-05-15 20:59:30
阅读次数：
6067
