码迷,mamicode.com
首页 >  
搜索关键字:分词    ( 2158个结果
english
eclosedadj.被附上的;(用墙等)围住的;封闭的;与外界隔绝的;v.(用墙、篱笆等)把…围起来( enclose的过去式和过去分词 );把…装入信封;附入;(尤指墙、篱笆等 )围住;bracesn.吊带,背带;托架( brace的名词复数 );箍子;括弧;(儿童)牙箍;v.支住( brace...
分类:其他好文   时间:2014-11-03 15:59:19    阅读次数:220
汉字自动注音程序
汉字注音 在平时应用中,可能会有这样的需求:要给一些中文进行自动注音。这个程序就是根据这个需求实现的。 思想 汉字注音程序的思想主要是依赖一些已有的常用词的注音词表。对于给定的需要注音的汉字串text,首先对text进行分词。这里的分词方法采用了正向最大匹配和逆向最大匹配想结合的方法。然后根据注音词表中每个词是某个音的概率,得到一个最大可能的注音结果。 思想很简单,...
分类:其他好文   时间:2014-11-01 20:34:23    阅读次数:337
【算法】基于树形结构分词
1 #!/usr/bin/env python 2 #encoding=gbk 3 import os 4 import sys 5 6 G_ENCODING="gbk" 7 """ 8 =============================== 9 中文分词 10 1. ...
分类:编程语言   时间:2014-10-30 18:38:30    阅读次数:228
分词系统简介:PHPAnalysis分词程序
分词系统简介:PHPAnalysis分词程序使用居于unicode的词库,使用反向匹配模式分词,理论上兼容编码更广泛,并且对utf-8编码尤为方便。 由于PHPAnalysis是无组件的系统,因此速度会比有组件的稍慢,不过在大量分词中,由于边分词边完成词库载入,因此内容越多,反而会觉得速度越快,这是...
分类:Web程序   时间:2014-10-27 19:07:11    阅读次数:1065
【apache solr系列】jcseg与pinyinTokenFilter实现中文缩写查找
结合jcseg以及pinyinTokenFilter实现搜索系统常见功能缩写搜索。...
分类:Web程序   时间:2014-10-27 12:55:14    阅读次数:398
(5)【整合】基于机器学习的酒店评论文本倾向性分析
酒店评论情感分析系统(五)——【整合】基于机器学习的酒店评论文本倾向性分析本文主要是对之前的第三、四节所介绍的各分块进行整合。流程:对GUI界面输入的评论文本,先进行中文分词和去停用词,然后再按“环境,价格,卫生,服务”四个方面分类;同时通过调用LingPipe中的DynamicLMClassifi...
分类:其他好文   时间:2014-10-24 21:59:45    阅读次数:252
几种开源分词工具的比較
搜集了一些资料,与同学一起进行了简单的測试,总结例如以下。分词工具特点支持语言原理词典及扩展性StandardAnalyzer中文、英文(unicode)中文:单字符切分英文:依据空格切分ChineseAnalyzer中文,不支持中文和英文及数字混合的文本分词按字分词,与StandardAnalyz...
分类:其他好文   时间:2014-10-24 20:43:52    阅读次数:270
代码复审
代码中值得肯定的地方: 1.尝试使用了正则表达式,正确地解决了分词的问题 2.扫描文件的时候,使用c#的EnumerateFiles类将符合条件的文件首先存入一个数组,这样的做法避免了在统计过程中递归访问子目录 3.代码的逻辑清晰,有高类聚、低耦合的意识,把有关功能聚集到了一起,不同功能的模块也进行...
分类:其他好文   时间:2014-10-24 00:06:38    阅读次数:152
【算法设计】基于大规模语料的新词发现算法
对中文资料进行自然语言处理时,我们会遇到很多其他语言不会有的困难,例如分词——汉语的词与词之间没有空格,那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已/结婚/的/和/尚未/结婚/的”,还是“已/结婚/的/和尚/未/结婚/的”呢?这就是所谓的分词歧义难题。不过,现在很多语言模型都已能比较漂亮地解...
分类:编程语言   时间:2014-10-23 20:44:05    阅读次数:264
双向最大匹配分词算法
#!/usr/bin/python#encoding=gbkimport sysdictMaxLength = 5dctDict = {}encoding='gbk''''初始化字典、初始化最大词长'''def initDct(dct): global dctDict global dictMa.....
分类:编程语言   时间:2014-10-23 20:27:30    阅读次数:267
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!