2000ms 65536K
搜狗输入法最近的用户输入中出现了一种新的输入模式，形如 “0k1234567”，搜狗的工程师发现这一模式后了解到，这是一种新被提出的对于十五进制数字的标记模式，其中 “0k” 是标记进制为15的前缀标记，之后的部分 “1234567” 是实际的十五进制的数字串。
在发现这一标记模式后，搜狗的工程师开始尝试在已有的分词算法上进一步加入对于十五进制数字串的处理，...
分类：
其他好文 时间：
2015-07-19 10:21:56
阅读次数：
171
搜狗输入法的分词算法
搜狗输入法最近的用户输入中出现了一种新的输入模式，形如
“0k1234567”，搜狗的工程师发现这一模式后了解到，这是一种新被提出的对于十五进制数字的标记模式，其中 “0k” 是标记进制为15的前缀标记，之后的部分 “1234567” 是实际的十五进制的数字串。
在发现这一标记模式后，搜狗的工程师开始尝试在已有的分词算法上进一步加入对于十五进制数字串的处理，把网页上的...
分类：
编程语言 时间：
2015-07-18 17:11:18
阅读次数：
301
搜狗输入法最近的用户输入中出现了一种新的输入模式，形如 “0k1234567”，搜狗的工程师发现这一模式后了解到，这是一种新被提出的对于十五进制数字的标记模式，其中 “0k” 是标记进制为15的前缀标记，之后的部分 “1234567” 是实际的十五进制的数字串。
在发现这一标记模式后，搜狗的工程师开始尝试在已有的分词算法上进一步加入对于十五进制数字串的处理，把网页上的这种形式的 15 进制数正确...
分类：
其他好文 时间：
2015-07-18 17:10:52
阅读次数：
92
官方说明地址： ?http://www.coreseek.cn/opensource/mmseg/词典文件所在位置： 本地管理地址：xxx/dict/new_dict.txt【 每次添加新的词，先更新此文件， 然后再把最新的词典文件scp上传到sphinx所在服务器上更新词库】 线上词库配置地址： ...
分类：
其他好文 时间：
2015-07-18 12:11:28
阅读次数：
123
1、在mvnrepository里面找IKAnalyzer，这个中文分词包，一直没有找到，找到github，发现是一个国人写的，
http://mvnrepository.com/search?q=IKAnalyzer
2、转换成maven包，安装到本地，找到有现成的maven工程，拿来主义，clone到本地
https://github.com/wks/ik-analyzer
...
分类：
其他好文 时间：
2015-07-17 21:08:33
阅读次数：
831
1.关键的一点，Lucene.Net要使用3.0以下的版本，否则与盘古分词接口不一致。...
分类：
Web程序 时间：
2015-07-16 22:13:40
阅读次数：
179
结巴”分词：做最好的Python分词组件出处:http://www.iteye.com/news/26184-jiebaimport jiebaseg_list = jieba.cut("我来到北京清华大学",cut_all=True)print "Full Mode:", "/ ".join(se...
分类：
编程语言 时间：
2015-07-16 19:11:08
阅读次数：
134
盘古分词是一个基于 .net framework 的中英文分词组件。主要功能中文未登录词识别盘古分词可以对一些不在字典中的未登录词自动识别词频优先盘古分词可以根据词频来解决分词的歧义问题多元分词盘古分词提供多重输出解决分词粒度和分词精度权衡的问题中文人名识别输入： “张三说的确实在理”分词结果：张三...
分类：
其他好文 时间：
2015-07-14 22:26:31
阅读次数：
540
在solr里面，如何合理的控制的命中的数量？
在一些日常的文章中或一些信息中，都有一些高频词，而这些高频词，在参与查询时，往往会造成，大量的结果集命中。
什么意思呢？ 举个例子，假如我们现在做的是饭店的搜索，在我们的索引库里有一列name这个field，这里面大部分都是xxx饭店，假如你搜索的时候搜一个xxx饭店，会被分词成：
xxx
饭店
然后xxx命中只有10条结果集...
分类：
其他好文 时间：
2015-07-13 16:16:08
阅读次数：
105
说明：中英文混合内容例0：默认分词（无gap和quotes參数）我喜欢黄色高领T恤衫输出分词结果结果词组: @{pPage:words}效果：完整代码分词：返回以空格隔的词组分词：返回以空格隔开的词组我喜欢黄色高领T恤衫结果词组: @{pPage:words}（样例文件：_samples/2word...
分类：
其他好文 时间：
2015-07-11 17:57:21
阅读次数：
127
