码迷,mamicode.com
首页 >  
搜索关键字:交集歧义检测    ( 1个结果
NLP: 中文分词算法---交集歧义检测 (cross ambiguity detect)
中文分词中存在交集歧义检测问题, 例如“互联网金宝” 可以切分为“互联网” 和“金宝”, 也可以切分为“互联”和“网金宝”, 如何在切分过程中检测是否有交集歧义发生, 以及如果存在交集歧义的话怎么处理切分问题, 是非常重要的话题。 这里, 可以采用FMM算法进行切分, 首先切分出最大的正向匹配, 然后进行交集歧义检测, 如果检测到存在交集歧义, 那么对可能存在歧义的一段文字进行FM切分, 获取所有的可能切分结果; 然后对剩下的query子句重复进行FMM切分, 直到query == null...
分类:其他好文   时间:2014-07-12 18:26:14    阅读次数:264
1条  
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!