码迷,mamicode.com
首页 > Web开发 > 详细

Lucene之分词

时间:2015-03-06 17:07:51      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:

分词:

①  单字切分

把一段文字按照每个字去建立索引。

如切分“我爱中华”,就会切成“我”,“爱”,“中”,“华”。这种分词法效率低,但也能解决一些问题。

 

②  二分法

二分法就是把一段文字的每两个相邻的字算作一个词。

如果用来切分“我爱中华”,就会切成“我爱”,“爱中”,“中华”。这种分词效率低,但比单字切分好得多。

 

③  词典法

词典法就是建立一个词典文件,然后使用词典和文字段落进行匹配,从而得出分词结果,在这种分词当中,词典和匹配算法是关键。

做词典和维护词典都不难,统计。匹配算法不好办,有最大匹配和最小匹配,正向匹配和逆向匹配。

 

④  语义法

这个方法在理论上是存在的,但从实际上讲也只是个名词,看到任何一段文字,让计算机将其正确理解出来,这个想法不可能。

 

 

 

 

 

 

Lucene之分词

标签:

原文地址:http://blog.csdn.net/xuan6251237011/article/details/44100731

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!