Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer

时间：2014-06-26 13:19:13 阅读：177 评论：0 收藏：0 [点我收藏+]

TokenStream extends AttributeSource implements Closeable:
incrementToken,end,reset,close
Tokenizer直接继承至TokenStream,其输入input是一个reader
TokenFilter也直接继承TokenStream,但input是一个TokenStream。
TokenStreamComponents其实是将tokenizer和tokenfilter包装起来的(也可以只是tokenizer,两个成员叫source和sink),可以setReader,getTokenStream方法返回sink。
Analyzer就是一个TokenStreamComponents的容器，因此需要确定ReuseStrategy,重写createComponents(fieldName,reader)方法,使用时调用tokenStream(fieldName,reader)方法获取TokenStream就可以了。

Lucene中TokenStream,Tokenizer,TokenFilter,TokenStreamComponents与Analyzer,布布扣,bubuko.com

标签：lucene 分词

原文地址：http://blog.csdn.net/jollyjumper/article/details/34563275

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行