jiaba分词的原理 jiaba分词依靠中文词库 ——利用一个中文词库，确定汉字之间的关联概率 ——汉字间概率大的组成词组，形成分词结果 ——除了分词，用户还可以添加自定义的词组 jiaba库使用说明 精确模式、全模式、搜索引擎模式 ——精确模式：吧文本精确的切分开i，不存在冗余单词； ——全模式： ...
分类：
其他好文 时间：
2018-07-05 17:20:14
阅读次数：
206
[TOC] 在 Xunsearch 使用 SCWS 创建分词对象 获取分词结果 提取重要词汇 ...
分类：
其他好文 时间：
2018-07-02 19:26:49
阅读次数：
259
jieba “结巴”中文分词：做最好的 Python 中文分词组件。下载地址：https://github.com/fxsjy/jieba 特点 支持三种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜 ...
分类：
编程语言 时间：
2018-06-30 16:14:47
阅读次数：
319
词义消歧：在自然语言中，一词多义现象普遍存在，如何区分不同上下文中的词汇语义，就是词汇歧义消解问题，或称词义消歧(word sense disambiguation,WSD) 基本思路：每个词表达不同含义时，其上下文（语境）往往不同，因此可以根据上下文信息区分词义 基本上下文信息包括：词、词性、位置 ...
分类：
其他好文 时间：
2018-06-28 22:56:00
阅读次数：
304
软件系统架构风格的知识，其中介绍了五种主要的架构风格，分别是：数据流风格，仓库风格，调用、返回风格，构件风格和虚拟机风格。因为平时一直是CODING，没有真正花时间来学习架构相关的知识。其实，在平时的工作中，我们已经是有意或者无意中应用到了上面的一些架构风格，只是没有去理论化和系统化。即使以前做过的 ...
分类：
其他好文 时间：
2018-06-28 12:10:08
阅读次数：
161
全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理 需要的第三方库： haystack：django的一个包，可以方便地对model里面的内容进行索引、搜索，设计为支持whoosh,solr,Xapian,Elasticsearc四种全文检索引擎后端，属于一种全文 ...
分类：
其他好文 时间：
2018-06-26 22:40:46
阅读次数：
252
分词工具的选择： 现在对于中文分词，分词工具有很多种，比如说：jieba分词、thulac、SnowNLP等。在这篇文档中，笔者使用的jieba分词，并且基于python3环境，选择jieba分词的理由是其比较简单易学，容易上手，并且分词效果还很不错。 分词前的准备： 待分词的中文文档 存放分词之后 ...
分类：
编程语言 时间：
2018-06-24 19:29:35
阅读次数：
390
一.使用支持高版本的ikanalzyer进行分词配置(尾部有文件链接) ikanalyzer最后更新是在2012年,对于高版本的lucee不支持.但网上还是有被修改过的Ikanalyzer的6.5.0版本,试了下可以支持lucene7.x整合到solr7.x中也没什么问题 1.jar包准备 2.把I ...
分类：
其他好文 时间：
2018-06-24 13:01:04
阅读次数：
198
jieba库的简介 jieba是优秀的中文分词库，中文文本需要通过分词来获的单个词语。jieba库提供了三种分词模式：精确模式，全模式，搜索引擎模式。精确模式是将文本精确割分，不存在冗余。全模式是将文本中所有可能单词都扫描出来，存在冗余。搜索引擎模式是将经过精确模式分割下的长词在进行分割。 常见ji ...
分类：
其他好文 时间：
2018-06-23 14:35:22
阅读次数：
255
NLPIR能够全方位多角度满足应用者对大数据文本的处理需求，包括大数据完整的技术链条：网络采集、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。 ...
分类：
编程语言 时间：
2018-06-22 13:29:29
阅读次数：
215
