萌贝树对骗子讲IK分词器

时间：2019-09-11 11:57:13 阅读：88 评论：0 收藏：0 [点我收藏+]

IK分词器首先会维护几个词典来记录一些常用的词，如主词表：main2012.dic、量词表quantifier.dic、停用词stopword.dic。
　　Dictionary为字典管理类中，分别加载了这个词典到内存结构中。具体的字典代码，位于org.wltea.analyzer.dic.DictSegment。这个类实现了一个分词器的一个核心数据结构，即Tire Tree。
　　Tire Tree（字典树）是一种结构相当简单的树型结构，用于构建词典，通过前缀字符逐一比较对方式，快速查找词，所以有时也称为前缀树。具体的例子如下。
　　比如：我是北京海淀区中关村的中国人民。
　　我们设置的词典是：北京、海淀区、中关村、中国、中国人民，那么根据词典组成的字典树如图所示：
技术图片

　　海量数据搜索---demo展示百度、谷歌搜索引擎的实现然后我们根据这个字典树来对这段话进行词语切分。IK分词器中，基本可以分为两种模式：一种是smart模式、一种是非smart模式，可以在代码中初始化的时候去配置。
　　我们其实不用解释这两种模式的字面含义，直接打印两种模式的结果就可以看出来：
　　原句：我是北京海淀区中关村的中国人民
　　smart模式：北京、海淀区、中关村、中国人民非smart模式：北京、海淀区、中关村、中国、中国人民显而易见，非smart模式是将能够分出来的词全部输出；smart模式是根据内在的方法输出一个合理的分词结果，这就涉及到了歧义判断。

萌贝树对骗子讲IK分词器

标签：北京北京海淀数据结构前缀树搜索引擎快速简单的前缀

原文地址：https://blog.51cto.com/14539425/2437311

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行