码迷,mamicode.com
首页 > 编程语言 > 详细

Ansj分词双数组Trie树实现与arrays.dic词典格式

时间:2014-11-04 12:32:05      阅读:304      评论:0      收藏:0      [点我收藏+]

标签:http   io   ar   java   for   sp   on   cti   bs   

http://www.hankcs.com/nlp/ansj-word-pairs-array-tire-tree-achieved-with-arrays-dic-dictionary-format.html

arrays.dic是一个双数组Trie树格式的词典,用文本的形式储存了索引,字串,base,check,status与词性。

一个直观的图示:

bubuko.com,布布扣

index就是base数组中的下标。

term是词的当前状态,不一定代表一个词,如“一举一”是“一举一动”的前缀。

base是base数组的值。代表字串的当前状态,其实就是字串一路按base[tx] = base[t] + x查过来的值。比如base[一举一动] = base[一举一] + code(动)。特别地,如果字串长度为1的话(字符),那么base值就是字符的双字节码。

check是check数组的值。check是用来验证这个词是从哪个状态转换过来的。比如bubuko.com,布布扣是由bubuko.com,布布扣转换过来的。base[105540] + 21160 = 126700.

status是term的成词状态:1:继续 2:是个词语但是还可以继续 3:确定。参考

nature是这个词以这些词性出现的频次。

转载请注明:码农场 » Ansj分词双数组Trie树实现与arrays.dic词典格式

Ansj分词双数组Trie树实现与arrays.dic词典格式

标签:http   io   ar   java   for   sp   on   cti   bs   

原文地址:http://www.cnblogs.com/DjangoBlog/p/4073062.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!