先整体上看一下Lucene的架构设计图（见下图），先看上层应用，首先是信息采集的过程，文件系统、数据库、万维网以及手工输入的文件都可以作为信息采集的对象，也是要搜索的文档的来源，采集万维网上的信息一般使用网络爬虫。完成信息采集之后到Lucene层面有两大任务：索引文档和搜索文档，索引文档的过程完成由原始文档到倒排索引的构建过程，搜索文档用以处理用户查询。应用层的第三部分就是用户接口，用户输入查询关
分类：
Web程序 时间：
2019-01-20 22:52:40
阅读次数：
251
lucene索引文件大小优化小结 1 数值数据类型索引优化 1.1 数值类型索引问题 lucene本质上是一个全文检索引擎而非传统的数据库系统，它基于倒排索引，非常适合处理文本，而处理数值类型却不是强项。 1.2 lucene解决方法 为解决这一问题， Schindler和 Diepenbroek提 ...
分类：
Web程序 时间：
2018-12-21 15:22:10
阅读次数：
256
elasticsearch 是java对lucence的封装，所以需要事先安装java。 它适用于全文索引，便捷的分布式，主要原理就是倒排索引。一般搜索某个关键字，是通过在一篇篇文章中查找这个关键字，而elasticsearch是存储的时候就将需要索引的内容进行分词，形成多个标签，查找时直接在标签索 ...
分类：
其他好文 时间：
2018-12-14 19:24:15
阅读次数：
167
搜索： like 对中文分词效率与支持都不太友好elasticsearch 实时的（效率高）、分布式（可扩展）的搜索和分析引擎,基于Lucene全文搜索引擎工具包，算法基于倒排索引算法（eg:一篇文章根据字典进行分词，然后根据字典进行倒排，倒排即在内存中存入某个字典，并且保存每个字典对应的文档，查找 ...
分类：
其他好文 时间：
2018-12-05 12:32:41
阅读次数：
239
海量数据处理面试题六大套路：1、分而治之/hash映射 + hash统计 + 堆/快速/归并排序 2、多层划分 3、Bloom filter/Bitmap 4、Trie树/数据库/倒排索引 5、外排序 6、Map Reduce ...
分类：
其他好文 时间：
2018-12-02 16:48:07
阅读次数：
172
版本：Elasticsearch 6.2.4。 Mapping类似于数据库中的表结构定义，主要作用如下： 定义Index下字段名（Field Name） 定义字段的类型，比如数值型，字符串型、布尔型等 定义倒排索引的相关配置，比如是否索引、记录postion等 Mapping完整的内容可以分为四部分 ...
分类：
移动开发 时间：
2018-11-25 22:16:09
阅读次数：
308
term、terms查询 term query会去倒排索引中寻找确切的term，它并不知道分词器的存在，这种查询适合keyword、numeric、date等明确值的 term：查询某个字段里含有某个关键词的文档 terms：查询某个字段里含有多个关键词的文档 match查询 match query ...
分类：
其他好文 时间：
2018-11-14 17:18:26
阅读次数：
572
TF：term frequency ，词频 。指的是 term 出现的评率。在 一般来说次出现几次 词频 就是 几。但是如果这个词出现次数很少，但是 这个index 的 文档很多。这时候就不合理了。 所以 一般 TF = 词条在文档出现的次数 / 文档总词数。 IDF：倒排索引的频率。 log ( ...
分类：
其他好文 时间：
2018-10-30 17:45:07
阅读次数：
185
倒排列表 倒排列表用来记录有哪些文档包含了某个单词。一般在文档集合里会有很多文档包含某个单词，每个文档 会记录文档编号（DocID），单词在这个文档中出现的次数（TF）及单词在文档中哪些位置出现过等信息，这样与一个文档相关的信息被称做倒排索引项（Posting），包含这个单词的一 系列倒排索引项形成 ...
分类：
其他好文 时间：
2018-10-05 12:20:49
阅读次数：
186
