【apache solr系列】jcseg与pinyinTokenFilter实现中文缩写查找

标签：apache solr   缩写搜索   分词   

转载请注明：http://blog.csdn.net/weijonathan/article/details/40504029

今天要写的是关于分词查询的。

我们先来看下下面这张图

应该说很多做搜索的系统都会涉及到的一个话题；中文缩写搜索，当你输入相应的中文缩写的时候，会给你提示相应的中文词组

而现在网上各式各样的文章都没有多少能真正介绍如何实现的。经过前阵子的研究，我这边整理一个我自己研究的效果，

先来看下相关插件以及下载地址：

jcseg下载地址及官网

下载地址:http://git.oschina.net/lionsoul/jcseg

官网地址：https://code.google.com/p/jcseg/

pinyinTokenFilter插件地址：

https://github.com/Jonathan-Wei/pinyinTokenFilter

jsceg是一个中文分词器，而pinyinTokenFilter是一个pinyin过滤器。

1、下载jcseg后解压，将jcseg\output目录中的jar包拷贝到solr的安装目录下

2、将jcseg的lexicon分词库放到apache-tomcat-7.0.53\webapps\solr\WEB-INF\classes目录下并配置lexicon.path路径

1）、jcseg默认的lexicon.path也就是分词词库的位置是在solr发布项目的lib目录；所以可以选择将压缩包中的lexicon目录拷贝到lib包底下

2）、配置lexicon.path配置到你指定的词库目录

疑问：

这里可能大家会问我为什么不用ik，原因是在Solr4.0发布以后，官方取消了BaseTokenizerFactory接口，而直接使用Lucene Analyzer标准接口。因此IK分词器2012 FF版本也取消了org.wltea.analyzer.solr.IKTokenizerFactory类。所以IK无法配置fliter节点；配置了之后启动tomcat直接就报错了；具体错误内容大家可以自己试验下，我这里就不具体展开了！

3、下载pinyinTokenFilter，（这个插件我做了一点修改，作者当前的项目存在bug，修改的内容不多，大家可以看我github上的提交修改内容）配置schame.xml添加以下配置

<fieldType name="text_pinyin" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.lionsoul.jcseg.solr.JcsegTokenizerFactory" mode="complex"/>
          <filter class="me.dowen.solr.analyzers.PinyinTransformTokenFilterFactory"
              isOutChinese="true" firstChar="true" minTermLength="1"/>
         <!--<filter class="me.dowen.solr.analyzers.PinyinTransformTokenFilterFactory"
              isOutChinese="true" firstChar="false" minTermLength="1"/>-->
          <filter class="solr.StopFilterFactory" ignoreCase="true"
              words="stopwords.txt" />
          <filter class="solr.LowerCaseFilterFactory" />
          <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>
      </analyzer>
          <analyzer type="query">
          <tokenizer class="org.lionsoul.jcseg.solr.JcsegTokenizerFactory" mode="complex"/>
          <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt"
              ignoreCase="true" expand="true" />
          <filter class="solr.StopFilterFactory" ignoreCase="true"
              words="stopwords.txt" />
          <filter class="solr.LowerCaseFilterFactory" />
      </analyzer>
  </fieldType>

看下参数的一些说明：

isOutChinese：是否保留原输入中文词元。可选值：true(默认)/false

firstChar：输出完整拼音格式还是输出简拼。简拼输出是由原中文词元的各单字的拼音结果的首字母组成的。可选值：true(默认)/false

minTermLength：仅输出字数大于或等于minTermLenght的中文词元的拼音结果。默认值为2。

接下来看下solr中的分析结果：

这里大伙可以看到，“猩球崛起“缩写被分为x,xq,xqj,xqjq，当你输入这4个缩写的时候它就会给你提示包含"猩球崛起"的内容；

接下来看下我们查询结果：

可以看到，我输入xqj进行查询，是可以查到猩球崛起这个内容的。这里猩球崛起是一个词语，jcseg是支持自定义词库的，所以这里我配置了自己的一个简单的词库；

pinyinTokenFilter这个插件，如果不配合其他分词器使用的话，用插件README里面的方法进行测试，你是会看到你输入的单词会被分为一个个单字的词。README中使用的是

<tokenizer class="solr.StandardTokenizerFactory" />

【apache solr系列】jcseg与pinyinTokenFilter实现中文缩写查找

标签：apache solr   缩写搜索   分词   

原文地址：http://blog.csdn.net/weijonathan/article/details/40504029