向Lucene增加中文分词功能

标签：

一、分词功能介绍

分词模块对于搜索的重要性不言而喻。例如，没有分词时，搜索“和服”会出现“产品和服务”，搜索“海尔”会出现“海尔德”，搜索“华为”会出现“清华为何”。所以有必要给文本增加词的边界信息以提高检索精确度。

       猎兔全球首家推出支持Lucene的准确可用的中文分词模块。

二、执行方法

       可以在命令行执行分词测试：

>java "-Ddic.dir=D:/lg/work/SSeg/Dic" -classpath D:\JAVA\lib\lucene-1.4.jar;D:\JAVA\lib\seg.jar test.seg.result.CnTokenizer

       其中系统参数dic.dir指定数据文件路径，如：

"-Ddic.dir=D:/lg/work/SSeg/Dic"

       或者编写一个用于测试的Jsp页面。

三、调用接口

seg.result.CnTokenizer，该类继承org.apache.lucene.analysis.Tokenizer。

一个简单的使用例子是：

import java.io.Reader;

import java.util.Set;

import org.apache.lucene.analysis.Analyzer;

import org.apache.lucene.analysis.LowerCaseFilter;

import org.apache.lucene.analysis.StopFilter;

import org.apache.lucene.analysis.TokenStream;

/**

 * @author luogang

 *

 */

public class CnAnalyzer extends Analyzer {

       //~ Static fields/initializers ---------------------------------------------

       /**

        * An array containing some Chinese words that are not usually

        * useful for searching.

        */

       private static String[] stopWords = {

              "www","的","和","与","时","在",

              "是","被","所","那","这","有",

              "将","会","为","对","了","过",

              "去"};

       //~ Instance fields --------------------------------------------------------

       /** stop word list */

       private Set stopSet;

       //~ Constructors -----------------------------------------------------------

       /**

        * Builds an analyzer which removes words in STOP_WORDS.

        */

       public CnAnalyzer() {

              stopSet = StopFilter.makeStopSet(stopWords);

       }

       /**

        * Builds an analyzer which removes words in the provided array.

        *

        * @param stopWords stop word array

        */

       public CnAnalyzer(String[] stopWords) {

              stopSet = StopFilter.makeStopSet(stopWords);

       }

       //~ Methods ----------------------------------------------------------------

       /**

        * get token stream from input

        *

        * @param fieldName lucene field name

        * @param reader input reader

        *

        * @return TokenStream

        */

       public final TokenStream tokenStream(String fieldName, Reader reader) {

              TokenStream result = new CnTokenizer(reader);

              return new StopFilter(result, stopSet);

       }

}

四、输出结果介绍

输出结果中的词性标注代码说明如下：

五、分词效果

搜索“美的”，我们的结果是前22条全部是与“美的”品牌相关的新闻，百度的结果是前4条是相关的，中搜的结果是前10条中有4条是相关的。

附件：

向Lucene增加中文分词功能

标签：

原文地址：http://www.cnblogs.com/dark_acme/p/5352025.html