标签：Lucene style blog http color io os 使用 java
.si文件存储了段的元数据，主要涉及SegmentInfoFormat.java和Segmentinfo.java这两个文件。由于本文介绍的Solr4.8.0，所以对应的是SegmentInfoFormat的子类Lucene46SegmentInfoFormat。
首先来看下.si文件的格式
|
头部(header) |
版本(SegVersion) |
doc个数(SegSize) |
是否符合文档格式(IsCompoundFile) |
Diagnostics |
文件 |
Footer |
上文讲到Solr4.8.0使用的是Lucene46SegmentInfoFormat(说明4.6以后.si文件并未发生变化)，那么来看下Lucene46SegmentInfoFormat的内容，从下文代码中可以看出，Lucene46SegmentInfoFormat内容很简单，只包含了一个Lucene46SegmentInfoReader和Lucene46SegmentInfoWriter实例
1 public class Lucene46SegmentInfoFormat extends SegmentInfoFormat { 2 private final SegmentInfoReader reader = new Lucene46SegmentInfoReader(); 3 private final SegmentInfoWriter writer = new Lucene46SegmentInfoWriter(); 4 5 /** Sole constructor. */ 6 public Lucene46SegmentInfoFormat() { 7 } 8 9 @Override 10 public SegmentInfoReader getSegmentInfoReader() { 11 return reader; 12 } 13 14 @Override 15 public SegmentInfoWriter getSegmentInfoWriter() { 16 return writer; 17 } 18 19 /** File extension used to store {@link SegmentInfo}. */ 20 public final static String SI_EXTENSION = "si"; 21 static final String CODEC_NAME = "Lucene46SegmentInfo"; 22 static final int VERSION_START = 0; 23 static final int VERSION_CHECKSUM = 1; 24 static final int VERSION_CURRENT = VERSION_CHECKSUM; 25 }
顾名思义，Lucene46SegmentInfoReader负责了对.si文件的读，Lucene46SegmentInfoWriter负责了对.si文件的写
1 public SegmentInfo read(Directory dir, String segment, IOContext context) throws IOException { 2 //获取segment的.si文件名 3 final String fileName = IndexFileNames.segmentFileName(segment, "", Lucene46SegmentInfoFormat.SI_EXTENSION); 4 //打开.si文件，获取文件信息，并检查检验和 5 final ChecksumIndexInput input = dir.openChecksumInput(fileName, context); 6 boolean success = false; 7 try { 8 //检查header，并返回编码版本 9 int codecVersion = CodecUtil.checkHeader(input, Lucene46SegmentInfoFormat.CODEC_NAME, 10 Lucene46SegmentInfoFormat.VERSION_START, 11 Lucene46SegmentInfoFormat.VERSION_CURRENT); 12 //获取版本 13 final String version = input.readString(); 14 //获取documents个数 15 final int docCount = input.readInt(); 16 if (docCount < 0) { 17 throw new CorruptIndexException("invalid docCount: " + docCount + " (resource=" + input + ")"); 18 } 19 //是否复合文档格式 20 final boolean isCompoundFile = input.readByte() == SegmentInfo.YES; 21 //获取segemnt额外的信息 22 final Map<String,String> diagnostics = input.readStringStringMap(); 23 //获取segment包含的文件 24 final Set<String> files = input.readStringSet(); 25 //获取Footer(检验和以及ID) 26 if (codecVersion >= Lucene46SegmentInfoFormat.VERSION_CHECKSUM) { 27 CodecUtil.checkFooter(input); 28 } else { 29 CodecUtil.checkEOF(input); 30 } 31 //将从.si获取到的segment信息写入SegmentInfo中 32 final SegmentInfo si = new SegmentInfo(dir, version, segment, docCount, isCompoundFile, null, diagnostics); 33 si.setFiles(files); 34 35 success = true; 36 37 return si; 38 39 } finally { 40 if (!success) { 41 IOUtils.closeWhileHandlingException(input); 42 } else { 43 input.close(); 44 } 45 } 46 }
Lucene46SegmentInfoReader是读取.si文件并生成Segmentinfo，那么可想而知Lucene46SegmentInfoWriter是将Segmentinfo信息写入.si文件中
1 public void write(Directory dir, SegmentInfo si, FieldInfos fis, IOContext ioContext) throws IOException { 2 //将要生成的.si的文件名 3 final String fileName = IndexFileNames.segmentFileName(si.name, "", Lucene46SegmentInfoFormat.SI_EXTENSION); 4 //将.si文件加入文件列表中 5 si.addFile(fileName); 6 //生成.si文件 7 final IndexOutput output = dir.createOutput(fileName, ioContext); 8 9 boolean success = false; 10 try { 11 //写入文件头header 12 CodecUtil.writeHeader(output, Lucene46SegmentInfoFormat.CODEC_NAME, Lucene46SegmentInfoFormat.VERSION_CURRENT); 13 // Write the Lucene version that created this segment, since 3.1 14 //写入version 15 output.writeString(si.getVersion()); 16 //写入documents个数 17 output.writeInt(si.getDocCount()); 18 //写入是否复合文档个数 19 output.writeByte((byte) (si.getUseCompoundFile() ? SegmentInfo.YES : SegmentInfo.NO)); 20 //写入segment 额外的信息 21 output.writeStringStringMap(si.getDiagnostics()); 22 //写入segment包含的文件 23 output.writeStringSet(si.files()); 24 //写入footer 检验和以及ID 25 CodecUtil.writeFooter(output); 26 success = true; 27 } finally { 28 if (!success) { 29 IOUtils.closeWhileHandlingException(output); 30 si.dir.deleteFile(fileName); 31 } else { 32 output.close(); 33 } 34 } 35 }
在Segmentinfo有个tostring()函数，当我们将solr的日志等级设置为debug时候，它会打印出.si的信息。比如它打印出"_a(3.1):c45/4"，可以从中看出以下几个信息：
1. _a 是segment名字
2. (3.1)表示Lucene版本，如果出现?表示未知
3. c 表示复合文档格式，C表示非复合文档格式
4. 45 表示segment具有45个documents
5. 4 表示删除的documents个数
前面讲的都是以segment为单位的，现在起开始学习segment的细分结构。首先学习的是.fnm(域元数据文件)，它存储了segment内域的相关信息。
首先学习下.fnm的文件结构：
Header,FieldsCount, <FieldName,FieldNumber, FieldBits,DocValuesBits,DocValuesGen,Attributes> FieldsCount,Footer
要了解域的元数据信息，还要了解以下几点：
同.si文件相同，.fnm同样有Lucene46FieldInfosFormat(包含Lucene46SegmentInfoReader，Lucene46FieldInfosWriter)，以及FieldInfo
看下Lucene46SegmentInfoReader读取.fnm文件部分代码，Lucene46FieldInfosWriter内容差不多就不再介绍。
1 public FieldInfos read(Directory directory, String segmentName, String segmentSuffix, IOContext context) throws IOException { 2 //获取文件名 3 final String fileName = IndexFileNames.segmentFileName(segmentName, segmentSuffix, Lucene46FieldInfosFormat.EXTENSION); 4 //读取.fnm文件并检查检验和 5 ChecksumIndexInput input = directory.openChecksumInput(fileName, context); 6 7 boolean success = false; 8 try { 9 //header信息 10 int codecVersion = CodecUtil.checkHeader(input, Lucene46FieldInfosFormat.CODEC_NAME, 11 Lucene46FieldInfosFormat.FORMAT_START, 12 Lucene46FieldInfosFormat.FORMAT_CURRENT); 13 //域数量 14 final int size = input.readVInt(); //read in the size 15 FieldInfo infos[] = new FieldInfo[size]; 16 17 for (int i = 0; i < size; i++) { 18 //域名 19 String name = input.readString(); 20 //域编码 21 final int fieldNumber = input.readVInt(); 22 //获取FieldBits 域的所有方式 23 byte bits = input.readByte(); 24 //是否索引 &00000001 25 boolean isIndexed = (bits & Lucene46FieldInfosFormat.IS_INDEXED) != 0; 26 //是否保存字段的向量 &00000010 27 boolean storeTermVector = (bits & Lucene46FieldInfosFormat.STORE_TERMVECTOR) != 0; 28 //是否保存标准化因子 &00010000 29 boolean omitNorms = (bits & Lucene46FieldInfosFormat.OMIT_NORMS) != 0; 30 //是否保存playload &00100000 31 boolean storePayloads = (bits & Lucene46FieldInfosFormat.STORE_PAYLOADS) != 0; 32 final IndexOptions indexOptions; 33 if (!isIndexed) { 34 indexOptions = null; 35 //不保存字段的频率以及位置信息 &01000000 36 } else if ((bits & Lucene46FieldInfosFormat.OMIT_TERM_FREQ_AND_POSITIONS) != 0) { 37 //只有当域是可以被索引时，该值才能设1， 38 indexOptions = IndexOptions.DOCS_ONLY; 39 //不保存位置信息，&10000000 40 } else if ((bits & Lucene46FieldInfosFormat.OMIT_POSITIONS) != 0) { 41 //索引文档以及字段频率，禁止位置信息 42 indexOptions = IndexOptions.DOCS_AND_FREQS; 43 //是否在位置列表中保存偏移量信息 44 } else if ((bits & Lucene46FieldInfosFormat.STORE_OFFSETS_IN_POSTINGS) != 0) { 45 //索引文档，频率，位置以及偏移信息 46 indexOptions = IndexOptions.DOCS_AND_FREQS_AND_POSITIONS_AND_OFFSETS; 47 } else { 48 //索引文档，频率以及位置信息。这是全文检索的默认情况，支持评分以及位置查询 49 indexOptions = IndexOptions.DOCS_AND_FREQS_AND_POSITIONS; 50 } 51 52 // DV Types are packed in one byte 53 //获取DocValuesBits 54 byte val = input.readByte(); 55 //低4位表示DocValues类型 56 final DocValuesType docValuesType = getDocValuesType(input, (byte) (val & 0x0F)); 57 //高4位表示标准类型 58 final DocValuesType normsType = getDocValuesType(input, (byte) ((val >>> 4) & 0x0F)); 59 //DocValues的版本代号 60 final long dvGen = input.readLong(); 61 final Map<String,String> attributes = input.readStringStringMap(); 62 //将读取的域信息存在FiledInfo里面 63 infos[i] = new FieldInfo(name, isIndexed, fieldNumber, storeTermVector, 64 omitNorms, storePayloads, indexOptions, docValuesType, normsType, Collections.unmodifiableMap(attributes)); 65 infos[i].setDocValuesGen(dvGen); 66 } 67 //添加Footer 68 if (codecVersion >= Lucene46FieldInfosFormat.FORMAT_CHECKSUM) { 69 CodecUtil.checkFooter(input); 70 } else { 71 CodecUtil.checkEOF(input); 72 } 73 FieldInfos fieldInfos = new FieldInfos(infos);//将所有的域信息存放到FieldInfos里面 74 success = true; 75 return fieldInfos; 76 } finally { 77 if (success) { 78 input.close(); 79 } else { 80 IOUtils.closeWhileHandlingException(input); 81 } 82 } 83 } 84 85 private static DocValuesType getDocValuesType(IndexInput input, byte b) throws IOException { 86 if (b == 0) { 87 return null; 88 } else if (b == 1) { 89 return DocValuesType.NUMERIC; //每一个document都是数字类型。 90 } else if (b == 2) { 91 return DocValuesType.BINARY; //每一个document都是byte[]类型。值可能大于32766bytes，根据codec不同最大值不同。 92 } else if (b == 3) { 93 return DocValuesType.SORTED; //该byte[]类型，存放按前缀后缀规则，所有值进行排序，只存放不同的那部分，值小于32766bytes 94 } else if (b == 4) { 95 return DocValuesType.SORTED_SET;//set<byte[]>类型 96 } else { 97 throw new CorruptIndexException("invalid docvalues byte: " + b + " (resource=" + input + ")"); 98 } 99 }
尽管上述的代码比较简单，但是具体的对DocValue的概念仍然不是在熟悉，所以去找了下关于DocValue的一些信息
说实话，公司的项目中并未用到DocValue这个东西，之前只知道有这个配置项在Schema.xml里面，并未引起关注，直到现在源码上看到这个东西才想去学习下。DocValue是Solr4.2加入的特性，那么为什么要DocValue？
Solr标准的索引方式是反向索引，它将所有在Document里找到的term放到一起组成一个链表，而每一个term后面又跟着一个term出现过的document的链表以及出现过的次数。在上面的图中显示其原理。这是查询非常迅速，当用户查询某一个term时，已经有准备好的term到document的映射表了。
但是当涉及到sorting(排序), faceting(面搜索), and highlighting(以及高亮)逆向索引就变得不是那么高效了。比如faceting查询，首先得找出每一个document中出现的每一个term，然后使得每一个docID进行排序然后放入faceting list里面。对于Solr来说，这些是在内存中进行的，当document以及term多的时候，就会变得比较慢。
因此在Lucene4.2里引入了DocValue，它是行导向的结构，在建索引的时候形成document到term的映射，它使得aceting, sorting, and grouping 查询更加快速。
要使用它得在schema.xml上设置：
<field name="manu_exact" type="string" indexed="false" stored="false" docValues="true" />
DocValue只对一些特定的类型有效，比如：
DocValue具有以下优点以及缺点
Lucene有四个基础字段类型可以使用docvalues。目前Solr使用了其中三种:
例如，假设有3个这样的文档：
doc[0] = 1005
doc[1] = 1006
doc[2] = 1005
在这个例子中，每个文档仅需要一个bit。
例如，假设有3个这样的文档：
doc[0] = “aardvark”
doc[1] = “beaver”
doc[2] = “aardvark”
值 “aardvark” 被映射成0，”beaver”映射成1, 建立两个数据结构如下：
doc[0] = 0
doc[1] = 1
doc[2] = 0
term[0] = “aardvark”
term[1] = “beaver”
例如，假设有3个这样的文档：
doc[0] = “cat”, “aardvark”, “beaver”, “aardvark”
doc[1] =
doc[2] = “cat”
值 “aardvark” 被映射成0，”beaver”映射成1, “cat”映射成2，建立两个数据结构如下：
doc[0] = [0, 1, 2]
doc[1] = []
doc[2] = [2]
term[0] = “aardvark”
term[1] = “beaver”
term[2] = “cat”
Solr4.8.0源码分析(10)之Lucene的索引文件(3)
标签：Lucene style blog http color io os 使用 java
原文地址：http://www.cnblogs.com/rcfeng/p/3983876.html
