导入包： 读入初始文本、停用词文件，创建保存初始分词数据的Dataframe 一些参数： 由于文件里文本内容比较多，直接读取、分词、过滤会比较慢，采用多线程按行读取并处理 单行处理函数： 使用多线程读取： 打印最初分词后的数据： 创建词汇-频数库： 创建词性-频数库： 统计几种重要词性的词汇分布： ...
分类：
其他好文 时间：
2018-04-30 15:42:14
阅读次数：
697
logstash-input-jdbc学习 ES(elasticsearch缩写)的一大优点就是开源，插件众多。所以扩展起来非常的方便，这也造成了它的生态系统越来越强大。这种开源分享的思想真是与天朝格格不入啊。国内的开源社区做了也很长时间，可是也没出现什么拿的出手的东西，可能只还有阿里比较注重分享一 ...
分类：
其他好文 时间：
2018-04-30 13:41:00
阅读次数：
177
R语言︱情感分析—基于监督算法R语言实现笔记。 可以与博客 R语言︱词典型情感分析文本操作技巧汇总（打标签、词典与数据匹配等）对着看。 词典型情感分析大致有以下几个步骤： 训练数据集、neg/pos情感词典、分词+数据清洗清洗（一、二、三级清洗步骤）、计算情感得分、模型评价 ———————————— ...
分类：
编程语言 时间：
2018-04-29 23:18:47
阅读次数：
279
1.主题： 简单爬取简书中的专题‘’@IT·互联网“中的文章，爬取信息之后通过jieba分词生成词云并且进行分析； 2.实现过程： 第一步：打开简书并进入到@IT-互联网专题 网页链接：https://www.jianshu.com/c/V2CqjW?utm_medium=index-collect ...
分类：
编程语言 时间：
2018-04-29 22:13:59
阅读次数：
332
1、关键字检索的第一步是对整个文档分词 英文 空格 中文 中文词库配合中文分词法 中文分词有IK和庖丁，直接配置就可以使用 2、lucence的开源项目 --lucence core:java编写的核心类库，提供了全文检索功能的底层API与SDK --Solr:基于lucence core开发的高性 ...
分类：
其他好文 时间：
2018-04-28 19:42:03
阅读次数：
235
原文：http://blog.java1234.com/blog/articles/373.html elasticsearch安装中文分词器插件smartcn elasticsearch默认分词器比较坑，中文的话，直接分词成单个汉字。 我们这里来介绍下smartcn插件，这个是官方推荐的，中科院搞 ...
分类：
其他好文 时间：
2018-04-28 11:41:21
阅读次数：
180
版本是5.3.0 在core（自己创建的模块）的schema.xml里面增加类型： ik.conf： lastupdate：表示的是版本，比如我现在添加了新的分词，则将版本号加1。files表示分词的文件，后面可以是多个文件名，用英文的逗号分隔。在同级目录下创建文件extDic.txt extDic ...
分类：
其他好文 时间：
2018-04-27 13:49:55
阅读次数：
231
nlp词性标注 与分词函数不同，jieba库和pyltp库词性标注函数上形式相差极大。 jieba的词性标注函数与分词函数相近， 函数有两个参数，sentence是一段文本。 pyltp的词性标注函数 有一个参数，words是分词模块的返回值，或者是Python原生的list类型。 nltk中的词性 ...
分类：
其他好文 时间：
2018-04-27 02:17:29
阅读次数：
616
分词查找 查看Mapping的方法 通过Head的复合查询设置Mapping（文本禁用分词） 找到Head的复合查询部分 在查询第一行填入地址和要创建索引的名称，例如索引的名称是jlindex 另外，查询下左边栏位置空，右边栏位因为是新增索引和设置Mapping，所以设置为POST 把要提交的Map ...
分类：
其他好文 时间：
2018-04-26 19:07:15
阅读次数：
246
