码迷,mamicode.com
首页 > 其他好文 > 详细

Lucene 4.0 TieredMergePolicy

时间:2014-04-30 22:28:39      阅读:288      评论:0      收藏:0      [点我收藏+]

标签:lucene   merge policy   

默认的merge policy。

findMerges:

先将所有段按照扣除删除文档之后的字节数(bytesize * (1.0 - delRatio))降序排,对其中size() > 2.5G(maxMergedSegmentSize / 2)的段排除在外,其他只要不是正在归并的段,加入候选。

这个候选的列表如果大于allowedSegCount(allowedSegCount计算方法如下: 按照min(最小段size(),2M)做为10路归并在总字节数的限制下计算的段数),则需要从不同位置开始选归并段组合,这些段组合要

进行打分,打分最低的最为一次归并,这样反复挑选,直到所有的候选段都已经挑过。

具体打分公式如下: 

skew * totAfterMergeBytes ^ 0.05 * nunDelRatio^2.0

如果归并段接近5G(hitLarge=true),skew=1/10,否则为floorsize(candidate(0)) / totAfterMergeBytesFloored。

findForcedMerges提供segmentsToMerge,findForcedMerge对其中是original的段按size()降序排,按照30个一组,从最小的段一次一次添加merge,最后剩下(maxSegmentCount - 1)个段不归并(除非段数>不够)。 

findForcedDeletesMerges对于删除文档数超过20%且不是正在归并的段,按照size()排序,按30个一组,从最小的段做一次次归并。

Lucene 4.0 TieredMergePolicy

标签:lucene   merge policy   

原文地址:http://blog.csdn.net/jollyjumper/article/details/24786147

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!