一 es2.x和es5.x版本定义字符串类型 2.x版本的es string的类型 全文检索 分词 index=analysis 按单个字符匹配 被称作analyzed字符串 关键词搜索 不分词 index=not_analysis 按照整个文本进行匹配 被称为not-analyzed字符串 ind ...
分类：
其他好文 时间：
2020-03-10 16:05:52
阅读次数：
63
一、文本分词 将需要进行分析的文本进行分词（英文直接按照空格分隔词汇，中文则需通过分词工具分隔之后，把词之间加上空格） 二、去停用词 在文本中可以发现类似”the”、”a”等词的词频很高，但是这些词并不能表达文本的主题，我们称之为停用词。 对文本预处理的过程中，我们希望能够尽可能提取到更多关键词去表 ...
分类：
其他好文 时间：
2020-03-08 17:16:36
阅读次数：
142
介绍 在该节中我们将对用户产生的真实评论数据进行情绪分析。 知识点 文本分词 Word2Vec 方法 决策树分类 本文所涉及到情绪分析，又称为文本情绪分析，这是自然语言处理和文本挖掘过程中涉及到的一块内容。简而言之，我们通过算法去判断一段文本、评论的情绪偏向，从而快速地了解表达这段文本的原作者的主观 ...
分类：
编程语言 时间：
2020-03-06 12:54:09
阅读次数：
83
1、analyzer的组成 CharacterFilters:针对原始文本进行处理例如去掉html Tokenizer：按照规则切分单词 Token Filter：将切分好的单词进行二次加工 2、分词器 standard 默认分词器，按词切分，小写处理 stop 小写处理，停用词过滤（a,the,i ...
分类：
其他好文 时间：
2020-03-06 12:45:54
阅读次数：
72
Be动词的形式： be,一般现在时（is,am,are）,过去时（was,were）,（现在分词）being,（过去分词）been is,was用于单数 are,were用于复数 The man is back. The man 主语是单数 所以be动词用is They are back. They ...
分类：
其他好文 时间：
2020-03-03 10:58:40
阅读次数：
78
概述： 制作词云的步骤： 1、从文件中读取数据 2、根据数据追加在一个字符串里面，然后用jieba分词器将评论分开 3、设置WordCloud词云参数 4、保存最后的结果 数据： "使用爬取的豆瓣影评数据" 第一步：引入依赖库 第二步：读取数据 第三步：解析数据并保存 效果图： 模型： 效果： 源代 ...
分类：
编程语言 时间：
2020-02-26 21:17:28
阅读次数：
122
一、IK分词器简介 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3. ...
分类：
其他好文 时间：
2020-02-26 18:50:38
阅读次数：
82
1.编辑IKAnalyzer.cfg.xml文件 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <co ...
分类：
其他好文 时间：
2020-02-26 11:33:27
阅读次数：
134
1. Field域属性分类 添加文档的时候，我们文档当中包含多个域，那么域的类型是我们自定义的，上个案例使用的TextField域，那么这个域他会自动分词，然后存储 我们要根据数据类型和数据的用途合理的选择合适的域 Field类： StringField(fieldName,fieldValue,S ...
分类：
Web程序 时间：
2020-02-25 20:33:05
阅读次数：
100
1.分析器 所有分析器最终继承的类都是Analyzer 1.1 默认标准分析器：StandardAnalyzer 在我们创建索引的时候，我们使用到了IndexWriterConfig对象，在我们创建索引的过程当中，会经历分析文档的步骤，就是分词的步骤，默认采用的标准分析器自动分词 1.2 查看分析器 ...
分类：
其他好文 时间：
2020-02-25 19:58:55
阅读次数：
61
