全文检索之lucene入门篇HelloWorld

标签：java

       首先，先看下目录结构。

       第一步，在eclipse中建立jave项目。需要引入jar包，只有3个，分别是lucene的分词器和核心包，还有高亮显示器。做法是建立一个lib文件夹，将jar包拷过来，然后右击，选择Build Path（构建路径），Addto Build Path（添加到项目的构建路径）。

          然后建立datasource文件夹，添几个txt的文件进去，内容爱写啥写啥。（但是建议是一个是中文，一个是英文，可以测两种语言的分词）。还有luceneIndex文件夹,用来存放创建的索引.

         其中,IndexWriteraddDocument‘s a javadoc.txt的内容是

Adds room adocument to this room index. If the room document contains room  more than setMaxFieldLength(int) terms for agiven field, the remainder are discarded.

         小笑话_总统的房间 Room .txt 的内容是

总统的房间

    一位绅士到旅游胜地的一家饭店要开个房间，

    侍者因为他没有预定而拒绝说：“房间全满，无法安排。”

    “听着！”绅士说，“假如我告诉你总统要到这里来，你一定会马上向他提供一套客房吧？”

    “当然啦，他是总……”

    “好了，我荣幸地通知你：总统今晚不来了。你把他的房间给我吧！”

          然后建立包，com.lucene.helloworld，新建一个HelloWorld的类。里面主要的两个方法就是建立索引，以及查询关键字。

package com.lucene.helloworld;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriter.MaxFieldLength;
import org.apache.lucene.queryParser.MultiFieldQueryParser;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Filter;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.junit.Test;

import com.lucene.units.File2DocumentUtils;

public class HelloWorld {
	//需要查询的文件所在的路径	
	String filePath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\datasource\\peoplewhocannot.txt";
	//设置索引存放的路径
	String indexPath = "F:\\Users\\liuyanling\\workspace\\LuceneDemo\\luceneIndex";
	//设置分词器为标准分词器
	Analyzer analyzer = new StandardAnalyzer();
	
	/**
	 * 创建索引,先将文件File转化为Document类型,然后用IndexWriter,将Document按照设定的分词器和其他规则,创建索引,存到相应路径中
	 */
	@Test
	public void createIndex() throws Exception {
		Document doc = File2DocumentUtils.file2Document(filePath);
		
		IndexWriter indexWriter = new IndexWriter(indexPath,analyzer,true,MaxFieldLength.LIMITED);
		indexWriter.addDocument(doc);
		
		indexWriter.close();
	}
	
	/**
	 * 搜索,查询关键字queryString,先设置查询的范围,在"名称"和"内容"中查询。然后用IndexSearcher来查询，
	 * 通过查询索引来将结果返回。返回的结果是TopDocs类型，还需要进行处理才能拿到结果。
	 */
	@Test
	public void search() throws Exception {
		String queryString = "Internet";
		
		String[] fields = {"name","content"};
		QueryParser queryParser = new MultiFieldQueryParser(fields,analyzer);
		Query query = queryParser.parse(queryString);
		
		IndexSearcher indexSearcher = new IndexSearcher(indexPath);
		Filter filter = null;
		//查询前10000条记录
		TopDocs topDocs = indexSearcher.search(query,filter,10000);
		
		System.out.println("总共有["+topDocs.totalHits+"]条匹配结果");
		
		//将查询出的结果的scoreDocs进行遍历
		for (ScoreDoc scoreDoc : topDocs.scoreDocs ) {
			//取出文件的doc编号
			int docSn = scoreDoc.doc; 
			//根据编号，用indexSearcher查找到document文件
			Document doc = indexSearcher.doc(docSn);
			//将Document文件内容打印出来
			File2DocumentUtils.printDocumentInfo(doc);
		};
	}
}

     接着，由于里面用了File2DocumentUtils类的printDocumentInfo()和file2Document()，打印Document内容和File转换为Document两个方法。看看File2DocummentUtils文件内容.

package com.lucene.units;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.InputStreamReader;

import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.NumberTools;
import org.apache.lucene.document.Field.Index;
import org.apache.lucene.document.Field.Store;

/**
 * File转化为Document的工具类
 * @author liuyanling
 *
 */
public class File2DocumentUtils {
	
	/**
	 * 文件File转为Document.先根据路径,读取出File文件.然后根据文件的Name,content,size，path来建立索引,确认是否存储.
	 * @param path
	 * @return Document,被转换好的结果
	 */
	public static Document file2Document(String path) {
		File file = new File(path);
		
		Document doc = new Document();
		//将文件名和内容分词,建立索引,存储；而内容通过readFileContent方法读取出来。
		doc.add(new Field("name",file.getName(),Store.YES,Index.ANALYZED));
		doc.add(new Field("content",readFileContent(file),Store.YES,Index.ANALYZED));
		//将文件大小存储,但建立索引,但不分词;路径则不需要建立索引
		doc.add(new Field("size",String.valueOf(file.length()),Store.YES,Index.NOT_ANALYZED));
		doc.add(new Field("path",file.getPath(),Store.YES,Index.NO));
		
		return doc;
		
	}
	
	/**
	 * 读取文件内容。通过FileInputStream文件输入流，InputStreamReader读取输入流，再用BufferedReader包装，可以readLine
	 * 一行一行将数据取出。
	 * @param file 文件对象
	 * @return String，文件中的内容
	 */
	public static String readFileContent(File file) {
		try {
			BufferedReader reader = new BufferedReader (new InputStreamReader(new FileInputStream(file)));
			//存储File的内容
			StringBuffer content = new StringBuffer();
			
			for(String line = null;(line = reader.readLine()) != null;) {
				content.append(line).append("\n");
			}
			
			return content.toString();
				
		} catch (Exception e) {
			throw new RuntimeException();
		}
	}
	
	/**
	 * 将Document文件的内容打印出来，直接根据之前建立索引的使用的字段名，get出字段内容，打印
	 * @param doc
	 */
	public static void printDocumentInfo(Document doc) {
//		//第一种读取方式，先getfiled，然后stringValue
//		Field r = doc.getField("name");
//		r.stringValue();
		
		//第二种读取方式，直接get
		System.out.println("name ="+doc.get("name"));
		System.out.println("content =" +doc.get("content"));
		System.out.println("size =" +doc.get("size"));
		System.out.println("path =" +doc.get("path"));
	}
 }

    代码写完了，先创建索引，在createIndex方法上右击Run As选择Junit Test，进行单元测试。

    测试成功之后，就可以看到index增加了，说明索引添加了。

    然后测试测试，查询的结果如下。只查询到一个结果，将name，context，size和路径都打印出来了。

全文检索之lucene入门篇HelloWorld

标签：java

原文地址：http://blog.csdn.net/liuyanlinglanq/article/details/42293243