lucene4.0版本号以后 已经用TokenStreamComponents 代替了TokenStream流。里面包含了filter和tokenizer 在较复杂的lucene搜索业务场景下，直接网上下载一个作为项目的分词器，是不够的。那么怎么去评定一个中文分词器的好与差：一般来讲。有两个点。词库 ...
分类：
Web程序 时间：
2017-04-30 12:35:14
阅读次数：
152
----------------------------------------------------------
lucene的分词_中文分词介绍
----------------------------------------------------------
Paoding:庖丁解牛分词器。已经没有更新了
mmseg:使用搜狗的词库
1.导入包（有两个包：1.带dic的，2...
分类：
Web程序 时间：
2015-04-08 10:59:40
阅读次数：
191
最近一直在学Lucene3.5，感觉里面的知识真的很棒。今天就和大家一起分享一下我们自己来实现一个同义词的分词器。
一个分词器由多个Tokenizer和TokenFilter组成，这篇文章讲解的就是我们利用这两个特性实现自己的一个简单的同义词分词器，不妥之处请大家指出。
一、设计思路
什么叫同义词搜索呢？比如我们在搜 ”中国“ 这个词的时候，我们也可以搜索 ”大陆“ 这个词，后者搜索的要...
分类：
Web程序 时间：
2015-04-01 13:29:29
阅读次数：
300
前一篇文章 lucene分词流程讲解了分词的一些流程，我们也对分词流程有了一个初步的了解，知道一个分词器由多个Tokenizer和TokenFilter组成，这篇文章讲解的就是我们利用这两个特性实现自己的一个简单的同义词分词器，不妥之处请大家指出
（一）分析
如何实现同义词呢？比如重庆可以叫做山城，我们搜索山城的时候也应该要搜索要包含重庆这个单词的文章。那么我们就必须要了解lucene只怎么处...
分类：
Web程序 时间：
2015-02-03 17:10:14
阅读次数：
226
在较复杂的lucene搜索业务场景下，直接网上下载一个作为项目的分词器，是不够的。那么怎么去评定一个中文分词器的好与差：一般来讲，有两个点；词库和搜索效率，也就是算法。
lucene的倒排列表中，不同的分词单元有不同的PositionIncrementAttribute，如果两个词有着相同位置属性，比如：我定义美国和中国这两个词在倒排列表中是同一个位置，那么搜索美国的话，中国也能出来。这就是同义词搜索原理。
以下代码（用mmseg的 Tokenizer 去切词之后，然后再做同义词）：
先自定义...
分类：
Web程序 时间：
2014-11-19 18:47:09
阅读次数：
265
