Elias-Fano编码过程如下：把一组整数的最低l位连接在一起，同时把高位以严格单调增的排序划分为桶。 Example: 2, 3, 5, 7, 11, 13, 24 Count in unary the size of upper bits “buckets” including empty o ...
分类：
编程语言 时间：
2017-05-22 13:46:57
阅读次数：
324
PForDelta算法 PForDelta算法最早由Heman在2005年提出，它允许同时对整个chunk数据（例128个数）进行压缩处理。基础思想是对于一个chunk的数列（例128个），认为其中占多数的x%数据（例90%）占用较小空间，而剩余的少数1-x%（例10%）才是导致数字存储空间过大的异 ...
分类：
编程语言 时间：
2017-05-20 14:59:38
阅读次数：
171
提高性能 短语和邻近度查询比简单的match查询在性能上更昂贵。match查询只是查看词条是否存在于倒排索引(Inverted Index)中，而match_phrase查询则需要计算和比较多个可能重复词条(Multiple possibly repeated)的位置。 在Lucene Nightl ...
分类：
其他好文 时间：
2017-05-20 09:55:14
阅读次数：
230
来看看倒排索引压缩。压缩是拿CPU换IO的最重要手段之一，不论索引是放在硬盘还是内存中。索引压缩的算法有几十种，跟文本压缩不同，索引压缩算法不仅仅需要考虑压缩率，更要考虑压缩和解压性能，否则会解压太慢而起不到CPU换IO的作用。早期的索引设计里，在尝试了几十种编码之后，基本都确定性采用差分编码＋可变 ...
分类：
编程语言 时间：
2017-05-19 18:41:29
阅读次数：
657
转自 http://www.codeceo.com/article/lucene-index.html 1 数值数据类型索引优化 1.1 数值类型索引问题 lucene本质上是一个全文检索引擎而非传统的数据库系统，它基于倒排索引，非常适合处理文本，而处理数值类型却不是强项。 举个应用场景，假设我们倒 ...
分类：
Web程序 时间：
2017-05-10 00:08:38
阅读次数：
313
倒排索引 (就是key和Value对调的显示结果) 一、需求：下面是用户播放音乐记录，统计歌曲被哪些用户播放过 tom LittleApple jack YesterdayOnceMore Rose MyHeartWillGoOn jack LittleApple John MyHeartWillG ...
分类：
其他好文 时间：
2017-05-08 01:22:28
阅读次数：
215
这两天帮忙定位一个MySQL查询很慢的问题，定位过程综合各种方法、理论、工具，很有代表性，分享给大家作为新年礼物：） 【问题现象】 使用sphinx支持倒排索引，但sphinx从mysql查询源数据的时候，查询的记录数才几万条，但查询的速度非常慢，大概要4~5分钟左右 【处理过程】 1）explai ...
分类：
数据库 时间：
2017-05-06 15:53:57
阅读次数：
237
elasticsearch 运行原理： Lucene 把每次生成的倒排索引，叫做一个段(segment)。然后另外使用一个 commit 文件，记录索引内所有的 segment。而生成 segment 的数据来源，则是内存中的 buffer。也就是说，动态更新过程如下： 当前索引有 3 个 segm ...
分类：
其他好文 时间：
2017-05-06 13:21:32
阅读次数：
204
# index_box 提供搜索功能的实现- 持有std::vector<ITEM> _buffer; 存储所有文章信息- 持有ForwardIndex _forward_index; - _forward_index.build_findex( _buffer ) - get_all_items ...
分类：
其他好文 时间：
2017-04-13 08:44:18
阅读次数：
198
索引压缩的作用 词典压缩 倒排记录表压缩 参考资料：《信息检索导论》-- 第五章 ...
分类：
其他好文 时间：
2017-04-12 11:03:21
阅读次数：
160
