一、结巴中文分词采用的算法
基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
二、结巴中文分词支持的分词模式
目前结巴分词支持三种分词模式：
精确模式，试图将句子最精确地切开，适...
分类：
编程语言 时间：
2015-08-29 18:50:49
阅读次数：
483
之前都是用计算所的分词工具进行分词，效果不错可是比較麻烦，近期開始用Python的“结巴”模块进行分词，感觉很方便。这里将我写的一些小程序分享给大家，希望对大家有所帮助。以下这个程序是对一个文本文件中的内容进行分词的程序：test.py#!/usr/bin/python#-*- encod...
分类：
编程语言 时间：
2015-01-01 15:56:18
阅读次数：
170
之前都是用计算所的分词工具进行分词，效果不错但是比较麻烦，最近开始用Python的“结巴”模块进行分词，感觉非常方便。这里将我写的一些小程序分享给大家，希望对大家有所帮助。
下面这个程序是对一个文本文件里的内容进行分词的程序：test.py
#!/usr/bin/python
#-*- encoding:utf-8 -*-
import jieba ...
分类：
编程语言 时间：
2014-06-18 06:00:59
阅读次数：
412
