局部敏感哈希在检索技术中，索引一直需要研究的核心技术。当下，索引技术主要分为三类：基于树的索引技术（tree-based index）、基于哈希的索引技术（hashing-based index）与基于词的倒排索引（visual words based inverted index）[1]。本文主要对哈希索引技术进行介绍。...
分类：
其他好文 时间：
2015-03-19 14:50:56
阅读次数：
348
[ 什么是倒排索引 ]
索引：就好比是书的目录，通过目录我们可以快速的找到对应的章节。
倒排索引源于实际应用中需要根据属性的值来查找记录，例如：通过文章中的单词找到对应的文章。
[ 倒排索引例子 ]
假设有三篇文章，内容分别为：
文章1： it is what it is
文章2：what is it
文章3：it is a ban...
分类：
编程语言 时间：
2015-03-09 22:31:13
阅读次数：
289
搜索引擎的倒排索引表所占的空间很大，对倒排索引表进行压缩显得非常必要。由于倒排索引表中存储的全部都是数字，对其进行压缩有着专门的方法，Gamma编码就是其中的一种。Gamma编码是一种基于位的变长编码……...
分类：
其他好文 时间：
2015-03-08 23:03:06
阅读次数：
250
倒排索引是文档检索系统中最常用的数据结构，被广泛用于全文搜索引擎。它主要是用来存储某个单词（或词组）在一个文档或一组文档的存储位置的映射，即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容，而是进行了相反的操作（根据关键字来查找文档），因而称为倒排索引（Inverted Index）。通常情况下，倒排索引由一个单词（词组）以及相关的文档列表（标示文档的ID号，或者是指定文档所在位置的URI）...
分类：
其他好文 时间：
2015-03-05 19:27:16
阅读次数：
244
1.实例描述输入为一批文件，文件内容格式如下：Id1TheSpark……Id2TheHadoop……输出如下：（单词，文档ID合并字符串）TheId1Id2HadoopId2……2.设计思路先读取所有文件，数据项为(文档ID，文档词集合)的RDD，然后将数据映射为（词，文档ID）的RDD，去重，最后在reduceByKey阶..
分类：
其他好文 时间：
2015-03-04 11:21:07
阅读次数：
161
一、Hadoop来历
在没有Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce的思想来计算Page Rank，通过不断的演变Google带给我们了GFS、Map-Reduce、Bigtable这三大的关键技术和思想。由于Google...
分类：
编程语言 时间：
2015-02-23 16:43:57
阅读次数：
234
Analysis 和Analyzer analysis: 1，对文本分词，分成适合做倒排索引的词语。 2，对词语做标准化（normalizing），比如统一大小写、缩写转换等。这样做的目的是为了提升可搜索的能力。 Analyzer： Analyzer对docum...
分类：
其他好文 时间：
2015-01-06 21:42:51
阅读次数：
262
简单总结：倒排索引它记录的是词，和词所存在的文档id。的所有列表。通过这种索引结构的存储方式，其查询速率可想而知。...
分类：
其他好文 时间：
2015-01-06 21:42:18
阅读次数：
522
[现代信息检索]搜索引擎大作业一、题目要求：新闻搜索：定向采集3-4个体育新闻网站，实现这些网站信息的抽取、索引和检索。网页数目不少于10万条。能按相关度、时间、热度(需要自己定义)等属性进行排序，能实现相似新闻的自动聚类。二、题目分析题目分析：我们将任务分解为四个部分：新闻数据的爬取、倒排索引的构...
分类：
其他好文 时间：
2015-01-02 10:54:50
阅读次数：
348
