相对于英文检索，中文检索有两个特别要考虑的问题：编码问题和中文分词问题。 一、编码问题 1. 为了解决中文编码问题，我们在网页结构化信息预处理的时候统一采用utf-8编码； 2. 在Lucene创建索引的时候，构造一个BufferedReader对象以utf-8编码读取文件，使用如下语句： Buff ...
分类：
其他好文 时间：
2017-05-07 10:19:34
阅读次数：
184
elasticsearch 运行原理： Lucene 把每次生成的倒排索引，叫做一个段(segment)。然后另外使用一个 commit 文件，记录索引内所有的 segment。而生成 segment 的数据来源，则是内存中的 buffer。也就是说，动态更新过程如下： 当前索引有 3 个 segm ...
分类：
其他好文 时间：
2017-05-06 13:21:32
阅读次数：
204
全文索引-lucene。solr。nutch，hadoop之lucene 全文索引-lucene。solr，nutch，hadoop之solr 我在去年的时候，就想把lucene，solr。nutch和hadoop这几个东东给具体的介绍下，但因为时间的关系。我还是仅仅写了两篇文章，分别介绍了一下lu ...
分类：
Web程序 时间：
2017-05-04 21:51:17
阅读次数：
247
摘自：http://forfuture1978.iteye.com/blog/546841 4.2.2. 文档号及词频(frq)信息 文档号及词频文件里面保存的是倒排表，是以跳跃表形式存在的。 此文件包含TermCount个项，每一个词都有一项，因为每一个词都有自己的倒排表。 对于每一个词的倒排表都 ...
分类：
Web程序 时间：
2017-05-04 18:33:31
阅读次数：
210
电商搜索中要实现这么一块功能，当输入文字时候。下拉框提示。类似于百度搜索 在师出名门的基于lucene的solr搜索引擎中。提供了 拼写检查和智能提示这块功能。 拼写检查就是用来检查用户输入的检索内容是否存在，假设不存在则，给它提示出相近，或相似的内容。 而检索建议则是用户输入某个检索条件后。会立马 ...
分类：
其他好文 时间：
2017-05-04 11:07:23
阅读次数：
143
Lucene是Java开发的一套用于全文检索和搜索的开源程序库，它面向对象多层封装，提供了一个低耦合、与平台无关的、可进行二次开发的全文检索引擎架构，是这几年最受欢迎的信息检索程序库[1]。对Lucene的进一步了解可以参照Lucene更详细的资料以及Lucene6.2.1的官方文档。 由于Luce ...
分类：
编程语言 时间：
2017-05-04 01:34:48
阅读次数：
432
针对lucene6.1较新的分析：http://46aae4d1e2371e4aa769798941cef698.devproxy.yunshipei.com/conansonic/article/details/51849659 老的： Annotated Lucene(源码剖析中文版) Luce ...
分类：
Web程序 时间：
2017-05-03 17:08:05
阅读次数：
167
1.文件夹 org.apache.lucene.store.Directory 指定索引所在文件夹。 org.apache.lucene.store.RAMDirectory 存放于内存中的文件夹。 org.apache.lucene.store.RAMDirectory.RAMDirectory( ...
分类：
Web程序 时间：
2017-05-02 21:09:27
阅读次数：
370
从本篇开始，对elasticsearch的介绍将进入数据功能部分（index），这一部分包括索引的创建，管理，数据索引及搜索等相关功能。对于这一部分的介绍，首先对各个功能模块的分析，然后详细分析数据索引和搜索的整个流程。 这一部分从代码包结构上可以分为：index， indices及lucene（c ...
分类：
其他好文 时间：
2017-05-01 01:25:14
阅读次数：
260
