本文实现代码：利用word分词提供的文本相似度算法来辅助记忆英语单词 本文使用的英语单词囊括了几乎所有的考纲词汇共18123词： /**
?*?考纲词汇
?*?@return
?*/
public?static?Set<Word>?getSyllabusVoca...
分类：
编程语言 时间：
2015-05-29 14:09:38
阅读次数：
199
word分词提供了两种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String?text1?=?"我爱学...
分类：
其他好文 时间：
2015-05-20 08:20:25
阅读次数：
109
前几天去吃葫芦头的路上，大飞哥给详细的讲解了他在比较文本相似度实验时对Google的simhash方法高效的惊叹，回来特意去找了原文去拜读。Simhash传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦，其主要思想是根据一个文章中出现词的词频构成一个向量，然后计算两篇文章对应向...
分类：
Web程序 时间：
2015-05-10 20:15:12
阅读次数：
126
说到SIM，真真的被Dick Grune这老教授折服了，以前一直以为自己的编译原理学的蛮好的，现在才察觉，无知真的很可怕。所谓的大学课堂，就好像一本书的绪论。应该没有几个人在看完了一本书的绪论后就对这本书的内容了如指掌了吧！更何况我们所学的是一门发展了几十甚至上百千年的学科。
SIM是一个检测计算机程序相似性的实用程序，当然在后期的发展中也有扩展到对文本相似度的判别。...
分类：
其他好文 时间：
2015-05-02 20:47:30
阅读次数：
695
using System;using System.Collections.Generic;using System.Text;public class StringCompute{ #region 私有变量 /// /// 字符串1 /// private cha...
分类：
其他好文 时间：
2015-01-21 19:49:26
阅读次数：
484
余弦相似性原理：首先我们先把两段文本分词，列出来所有单词，其次我们计算每个词语的词频，最后把词语转换为向量，这样我们就只需要计算两个向量的相似程度.我们简单表述如下文本1：我/爱/北京/天安门/ 经过分词求词频得出向量（伪向量） [1,1,1,1]文本2：我们/都爱/北京/天安门/ 经过分词求词频得...
分类：
编程语言 时间：
2014-12-30 16:50:37
阅读次数：
220
文本相似度算法原文出自：http://www.cnblogs.com/liangxiaxu/archive/2012/05/05/2484972.html1.信息检索中的重要发明TF-IDF1.1TFTerm frequency即关键词词频，是指一篇文章中关键词出现的频率，比如在一篇M个词的文章中有...
分类：
编程语言 时间：
2014-12-29 22:59:50
阅读次数：
407
在数据采集及大数据处理的时候，数据排重、相似度计算是很重要的一个环节，由此引入相似度计算算法。常用的方法有几种：最长公共子串（基于词条空间）、最长公共子序列（基于权值空间、词条空间）、最少编辑距离法（基于词条空间）、汉明距离（基于权值空间）、余弦值（基于权值空间）等，今天我们着重介绍最后两种方式。余...
分类：
编程语言 时间：
2014-12-25 01:23:26
阅读次数：
506
??
对从网络上抓取到的网页进行处理：建立网络库，分词，去重，if-tdf计算权重，归一化，然后根据查询词将文本相似度从高到低的依次返回给客户
第一阶段：python网络爬虫抓取网页，并存盘
第二阶段：对磁盘上的网页文件建立网页库，将全部网页写入网页库，并建立相应网页的偏移量索引文件(1 23 100)-->(dofid, offset, size)，以便读取网页内容
...
分类：
其他好文 时间：
2014-10-04 16:33:27
阅读次数：
269
