有个新的技术需求，需要对Lucene4.x的源码进行扩展，把如下的有时间位置的文本写入倒排索引，为此，我扩展了一个TimeTokenizer分词器，在这个分词器里将时间信息写入 偏移量Offset中。扩展了一个Filter,最后查询时通过filter把时间信息传进去过滤想要的时间范围之内的结果。 L ...
分类：
Web程序 时间：
2017-08-01 22:58:31
阅读次数：
208
索引 其实在计算机中我们早已接触过跟索引有关的东西，比如数据库里的索引（index），还有硬盘文件系统中其实也有类似的东西，简而言之，索引是一种为了方便找到自己需要的东西而设计出来的条目，你可以通过找索引找到自己想要内容的位置。索引过程是： 关键字->索引->文档。在图书馆内的书分门别类，就是一种按 ...
分类：
其他好文 时间：
2017-07-26 23:44:51
阅读次数：
226
倒排索引（inverted index） 常被成为反向索引、置入文档和反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档 或者一组文档中的存储位置的映射。是文档检索系统中最常用的数据结构。 例如： 下面是要被索引的文本： T0 = "it is what it is" T1 = "w ...
分类：
其他好文 时间：
2017-07-23 10:16:26
阅读次数：
176
转发自：http://blog.csdn.net/hzrandd/article/details/47128895 分析和分析器 分析(analysis)是这样一个过程： 首先，表征化一个文本块为适用于倒排索引单独的词(term) 然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率” 这个 ...
分类：
移动开发 时间：
2017-07-08 17:56:53
阅读次数：
330
搜索引擎是“对网络信息资源进行搜集整理并提供信息查询服务的系统，包括信息搜集、信息整理和用户查询三部分”。如图1是搜索引擎的一般结构，信息搜集模块从网络采集信息到网络信息库之中（一般使用爬虫）；然后信息整理模块对采集的信息进行分词、去停用词、赋权重等操作后建立索引表（一般是倒排索引）构成索引库；最后 ...
分类：
编程语言 时间：
2017-07-04 18:09:07
阅读次数：
1508
任务要求： //输入文件格式 18661629496 110 13107702446 110 1234567 120 2345678 120 987654 110 2897839274 18661629496 //输出文件格式格式 11018661629496|13107702446|987654| ...
分类：
其他好文 时间：
2017-06-29 14:05:04
阅读次数：
257
package com.asin.hdp.inverted; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.a... ...
分类：
其他好文 时间：
2017-06-20 10:52:53
阅读次数：
180
我们使用数据库的时候，如果查询条件太复杂，则会涉及到很多问题 1、无法维护，各种嵌套查询，各种复杂的查询，想要优化都无从下手 2、效率低下，一般语句复杂了之后，比如使用or，like %,,%查询之后数据库的索引就没有办法利用到了，这个时候的搜索就会全表扫描，数据量少的时候可能性能还能接受，但是数据 ...
分类：
其他好文 时间：
2017-06-18 15:50:45
阅读次数：
125
http://www.cnblogs.com/likehua/p/4001556.html ...
分类：
其他好文 时间：
2017-06-13 17:03:28
阅读次数：
133
全文搜索两个最重要的方面是：相关性， 分析。 一旦谈论相关性或分析这两个方面的问题时，我们所处的语境是关于查询的而不是过滤。 match：单个词查询 步骤：1.分析字段类型，是string。2.分析查询字符串，得到一个单词quick。3.用term查询，在倒排索引中查找quick。4.为文档评分。 ...
分类：
其他好文 时间：
2017-06-12 19:47:56
阅读次数：
402
