标签：
Lucene的概述
Lucene是一个全文搜索框架，而不是应用产品。因此它并不像http://www.baidu.com/ 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。
lucene能做什么
lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库表的若干个字段索引起来，那就不用再担心因为“%like%”而锁表了；你也可以写个自己的搜索引擎……
2 lucene的工作方式
lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。
写入流程
1.源字符串首先经过analyzer处理，包括：分词，分成一个个单词；去除stopword（可选）。
2.将源中需要的信息加入Document的各个Field中，并把需要索引的Field索引起来，把需要存储的Field存储起来。
3.将索引写入存储器，存储器可以是内存或磁盘。
主要关键字【作用】
a) Analysis：分词器
Analysis包含一些内建的分析器，例如按空白字符分词的WhitespaceAnalyzer，添加了stopwrod过滤的StopAnalyzer，最常用的StandardAnalyzer。
b) Documet：文档
就是我们的源数据的封装结构，我们需要把源数据分成不同的域，放入到documet里面，到时搜索时也可以指定搜索哪些域（Field）了。
c) Directory : 目录，这是对目录的一个抽象，这个目录可以是文件系统上面的一个dir(FSDirectory)，也可以是内存的一块(RAMDirectory)，MmapDirectory为使用内存映射的索引。
放在内存的话就会避免IO的操作耗时了,根据需要选择就是了。
d) IndexWriter ： 索引书写器，也就是维护器，对索引进行读取和删除操作的类
e) IndexReader ： 索引读取器，用于读取指定目录的索引。
f) IndexSearcher ： 索引的搜索器，就是把用户输入拿到索引列表中搜索的一个类
需要注意的是，这个搜索出来的就是（TopDocs）索引号，还不是真正的文章。
g) Query ： 查询语句，我们需要把我们的查询String封装成Query才可以交给Searcher来搜索 ,查询的最小单元是Term，Lucene的Query有很多种，根据不同的需求选用不同的Query就是了.
i. TermQuery:
如果你想执行一个这样的查询：“在content域中包含‘lucene’的document”，那么你可以用TermQuery：
ii. BooleanQuery:多个query的【与或】关系的查询
如果你想这么查询：“在content域中包含java或perl的document”，那么你可以建立两个TermQuery并把它们用BooleanQuery连接起来：
iii. WildcardQuery ： 通配符的查询
如果你想对某单词进行通配符查询，你可以用WildcardQuery，通配符包括’?’匹配一个任意字符和’*’匹配零个或多个任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’：
Query query = new WildcardQuery(new Term("content", "use*");
iv. PhraseQuery ： 在指定的文字距离内出现的词的查询
你可能对中日关系比较感兴趣，想查找‘中’和‘日’挨得比较近（5个字的距离内）的文章，超过这个距离的不予考虑，你可以：
PhraseQuery query = new PhraseQuery();
query.setSlop(5);
query.add(new Term("content ", “中”));
query.add(new Term(“content”, “日”));
那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中国某高层领导说日本欠扁”。
v. PrefixQuery : 查询词语是以某字符开头的
如果你想搜以‘中’开头的词语，你可以用PrefixQuery：
PrefixQuery query = new PrefixQuery(new Term("content ", "中");
vi. FuzzyQuery ： 相似的搜索
FuzzyQuery用来搜索相似的term，使用Levenshtein算法。假设你想搜索跟‘wuzza’相似的词语，你可以：
Query query = new FuzzyQuery(new Term("content", "wuzza");
你可能得到‘fuzzy’和‘wuzzy’。
vii. TermRangeQuery : 范围内搜索
你也许想搜索时间域从20060101到20060130之间的document，你可以用TermRangeQuery：
TermRangeQuery query2 = TermRangeQuery.newStringRange("time", "20060101", "20060130", true, true);
最后的true表示用闭合区间。
viii.
h) TopDocs ：结果集，就是searcher搜索的结果，里面就是一些ScoreDoc，这个对象的doc成员就是这个Id了！
要想得到文章，那么就得需要用这个Id去取文章了，searcher提供了用id得到document的方法，于是就取到了数据了
//庖丁分析器 Analyzer analyzer = new PaodingAnalyzer(); List<Article> resu = docRecordService.wx(0);//取元数据 //创建Directory Directory dir = FSDirectory.open(new File(indexDir)); //创建Writer IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_44, analyzer); iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);//设置索引维护的方式 IndexWriter writer = new IndexWriter(dir, iwc); try { for (int i = 0; i < resu.size(); i++) { //文档实体类 DocRecord drec = new DocRecord(); //创建文档 Document document = new Document(); drec.setFileName(resu.get(i).getPid()); drec.setDocType("weixin"); drec.setLastModify(System.currentTimeMillis()); drec.setTitle(resu.get(i).getTitle()); try { System.out.println("开始分词工作 ： ------> " + i); long time = resu.get(i).getPublishTimeMillis(); if((time+"").length()<11){ time = time*1000; } String tag = resu.get(i).getArticleTag(); //得到时间戳 dateTime = resu.get(i).getPublishTimeMillis(); FieldType testType = new FieldType(); testType.setIndexed(false); testType.setTokenized(false); testType.setStored(true); //创建文章 标题，标签，简介，分类，时间，封面图地址，原文地址 document.add(new StringField("fileName", resu.get(i).getPid(), Field.Store.YES)); document.add(new TextField("abstracts", resu.get(i).getAbstracts()==null?"":resu.get(i).getAbstracts(), Field.Store.YES)); if(null!=resu.get(i).getPublisher() && !"".equals(resu.get(i).getPublisher())){ document.add(new StringField("author", resu.get(i).getPublisher(), Field.Store.YES)); }else{ document.add(new StringField("author", resu.get(i).getAuthor(), Field.Store.YES)); } document.add(new StringField("categoryCode", resu.get(i).getCategoryCode(), Field.Store.YES)); document.add(new StringField("categoryName", resu.get(i).getCategoryName()==null?"":resu.get(i).getCategoryName(), Field.Store.YES)); document.add(new Field("imageUrl", resu.get(i).getThemeImageUrls(), testType)); document.add(new Field("sourceUrl", resu.get(i).getSourceUrl(), testType)); document.add(new StringField("isCopyRight", resu.get(i).getIsCopyRight(), Field.Store.YES)); document.add(new StringField("source", resu.get(i).getSource(), Field.Store.YES)); document.add(new TextField("title", resu.get(i).getTitle(), Field.Store.YES)); document.add(new LongField("date",time , Field.Store.YES)); //这里的yes表示可以建立索引搜索 if(null!=resu.get(i).getSn() && !"".equals(resu.get(i).getSn())){ document.add(new StringField("sn",resu.get(i).getSn() , Field.Store.YES)); } if(null!=tag && !"".equals(tag)){ document.add(new StringField("tag", tag, Field.Store.YES)); } writer.updateDocument(new Term("fileName",(resu.get(i).getPid())!=null?(resu.get(i).getPid()):""), document); //更新数据库is_index字段，说明数据已做索引 // int id = docRecordService.createDoc(drec); System.out.println("完成分词工作 ： ------> " + i); } catch (Exception e) { e.printStackTrace(); } } writer.close(); dir.close(); } catch (Exception e) { e.printStackTrace(); }
标签：
原文地址：http://www.cnblogs.com/buglove/p/5667128.html
