1.分析器 所有分析器最终继承的类都是Analyzer 1.1 默认标准分析器：StandardAnalyzer 在我们创建索引的时候，我们使用到了IndexWriterConfig对象，在我们创建索引的过程当中，会经历分析文档的步骤，就是分词的步骤，默认采用的标准分析器自动分词 1.1.1 查看分 ...
分类：
Web程序 时间：
2020-02-25 19:46:55
阅读次数：
81
Field域属性分类 添加文档的时候，我们文档当中包含多个域，那么域的类型是我们自定义的，上个案例使用的TextField域，那么这个域他会自动分词，然后存储 我们要根据数据类型和数据的用途合理的选择合适的域 Field类： StringField(fieldName,fieldValue,Stro ...
分类：
其他好文 时间：
2020-02-25 19:38:42
阅读次数：
71
1.默认标准分析器 所有分析器最终继承的类都是Analyzer 1.1 编写AnalyzerTest类 //默认标准分析器 //1.创建一个Analyzer对象 Analyzer analyzer=new StandardAnalyzer(); //2.调用Analyzer对象的tokenStrea ...
分类：
其他好文 时间：
2020-02-25 18:10:20
阅读次数：
71
7-1 集合基础和基于二分搜索树的集合实现 07-Set-and-Map 集合 01-Set-Basics-and-BSTSet 文件IO操作，简单分词工具类 FileOperation import java.io.FileInputStream; import java.util.ArrayLi ...
分类：
其他好文 时间：
2020-02-25 17:52:28
阅读次数：
52
Field域的属性 是否分析：是否对域的内容进行分词处理，前提是我们要对域的内容进行查询； 是否索引：将Field分析后的词或整个Field值进行索引，只有索引方可搜索到； 比如：商品名称，商品简介分析后进行索引；订单号和身份证号不同进行分析但也要索引，这些将来都要作为查询条件； 是否存储：将Fie ...
分类：
Web程序 时间：
2020-02-25 14:29:16
阅读次数：
99
ik分词是一款流行的elasticsearch 中文分词器，安装ik分词器版本一定要与所安装es版本一致。 安装步骤： 1、解压ik分词器安装包到plugin目录下，并删除压缩包。 2、重启elasticsearch进程即可。 3、如果是es集群的话，每台es都需要安装ik分词器。 测试： Curl ...
分类：
其他好文 时间：
2020-02-23 18:35:15
阅读次数：
92
讲授自然语言处理简介、RNN解决NLP问题的一般思路、中文分词、词性标注、命名实体识别、文本分类、机器翻译等具体问题。 大纲 自然语言处理简介RNN在NLP中的应用简介中文分词词性标注命名实体识别文本分类机器翻译 本集内容简介 这节课 ...
分类：
其他好文 时间：
2020-02-22 11:42:07
阅读次数：
53
1 什么是全文检索？
2 使用Lucene实现全文检索的流程 ...
分类：
Web程序 时间：
2020-02-20 17:27:38
阅读次数：
89
https://github.com/sunkaifei/FlyCmshttps://github.com/wks/ik-analyzerIKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初 ...
分类：
其他好文 时间：
2020-02-20 14:57:09
阅读次数：
284
cut_sentence.py import string import jieba import jieba.posseg as psg import logging #关闭jieba日制 jieba.setLogLevel(logging.INFO) jieba.load_userdict(". ...
分类：
编程语言 时间：
2020-02-20 00:09:48
阅读次数：
222
