在采用FMM （正向最大匹配） 进行中文分词的时候， 可能会存在比较多的交集歧义， 这个时候为了解决交集歧义的问题， 可以采用 FM （Forwar Matching， 正向匹配） 进行中文分词， 正向匹配会在最大匹配的路径上查找所有可能成词的term(这里所有可能成词的term的意思是在构建索引的时候所有切分出来的词， 因为不是路径上的所有节点都会是切分成的词)。
http://blo...
分类：
其他好文 时间：
2014-07-12 22:23:26
阅读次数：
383
中文分词中存在交集歧义检测问题， 例如“互联网金宝” 可以切分为“互联网” 和“金宝”， 也可以切分为“互联”和“网金宝”， 如何在切分过程中检测是否有交集歧义发生， 以及如果存在交集歧义的话怎么处理切分问题， 是非常重要的话题。
这里， 可以采用FMM算法进行切分， 首先切分出最大的正向匹配， 然后进行交集歧义检测， 如果检测到存在交集歧义， 那么对可能存在歧义的一段文字进行FM切分， 获取所有的可能切分结果； 然后对剩下的query子句重复进行FMM切分， 直到query == null...
分类：
其他好文 时间：
2014-07-12 18:26:14
阅读次数：
264
