一，不用分词的短词组语言模型训练参考资源：http://cmusphinx.sourceforge.net/wiki/tutoriallm sphinx官方教程 1）文本准备 生成文本文件，内含一行一个的单词。头尾有 标记，如下所示，其中单词前后都有空格。文件为utf-8格式，文件名为test.t....
分类：
编程语言 时间：
2015-09-15 18:12:38
阅读次数：
827
除非特别说明，本文中出现的 Shell 均指 Bash 4.3。首先说一个基础知识：Shell 中的变量在展开成值（Parameter Expansion）之后，这个值在某些上下文（Context)中，还会进行分词操作（Word Splitting），但在另外一些上下文中，不会进行分词操作。本文中把...
分类：
其他好文 时间：
2015-09-15 12:33:52
阅读次数：
124
简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，同时分词的结果也令人印象深刻，有兴趣的可以到它的在线演示站点体验下（注意第三行文字）。.NET平台上常见的分词组件是盘古分词，但是已经好久没有更...
分类：
Web程序 时间：
2015-09-11 00:13:39
阅读次数：
546
tokenizer 库提供预定义好的四个分词对象,其中char_delimiters_separator已弃用. 其他如下:1. char_separator char_separator有两个构造函数1 char_separator() 使用函数 std::isspace() 来识别被弃分...
分类：
其他好文 时间：
2015-09-10 12:33:38
阅读次数：
208
注意:项目经过两次搭建,所以截图中顶级命名空间有ZHH和ZHH2区别,但是架构的内容是一样的,可以将ZHH和ZHH2视为同一命名空间一:权限管理二:搜索|-Lucene.net(速度快)+盘古分词(搜索词拆分)---比模糊查询更模糊|-模糊查询like效率慢,全盘扫描,不能拆分盘古分词,分出来的词,...
分类：
Web程序 时间：
2015-09-09 17:29:52
阅读次数：
1348
简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，同时分词的结果也令人印象深刻，有兴趣的可以到它的在线演示站点体验下（注意第三行文字）。.NET平台上常见的分词组件是盘古分词，但是已经好久没有更...
分类：
Web程序 时间：
2015-09-09 09:47:17
阅读次数：
256
文本分类实战分类任务算法流程数据标注特征抽取特征选择分类器训练与评估坑分词特征重要度有偏训练集模型大小优化One More Thing…term 扩展Distributed Representation分类任务其实工程上对于文本分类的需求还是挺多的，主要可以分为下面两类，并对每类给了两个例子。二分类...
分类：
其他好文 时间：
2015-09-09 08:32:02
阅读次数：
163
jieba中文分词的.NET版本：jieba.NET2015-09-08 20:05 by Anders Cui,191阅读,3评论,收藏,编辑简介平时经常用Python写些小程序。在做文本分析相关的事情时免不了进行中文分词，于是就遇到了用Python实现的结巴中文分词。jieba使用起来非常简单，...
分类：
其他好文 时间：
2015-09-09 01:04:41
阅读次数：
507
分词、词性标注和关键词提取是jieba中文分词的三个主要功能，jieba.NET实现了与jieba一致的功能和接口。jieba.NET的开发刚刚开始，还有很多细节需要完善。非常欢迎大家的试用和反馈，也希望能和大家一起讨论，共同实现更好的中文分词库。
分类：
Web程序 时间：
2015-09-08 21:57:40
阅读次数：
277
方案：问答搜索1. 搜索结果列表，高亮显示搜索关键词内容2. 用户输入内容，点击搜索 2.1 获取用户的搜索内容； 2.2 调用分词服务，获取对搜索内容的分词； 2.3 先查询是否已经存在这些关键词内容的缓存，有则直接取结果；否，进行下一步； 2.4 如果 2.2 返回的分词数大于 5 个，...
分类：
Web程序 时间：
2015-09-07 19:28:04
阅读次数：
251
