前言：首先有这样一个需求，需要统计一篇10000字的文章，需要统计里面哪些词出现的频率比较高，这里面比较重要的是如何对文章中的一段话进行分词，例如“北京是×××的首都”，“北京”，“×××”，“中华”，“华人”，“人民”，“共和国”，“首都”这些是一个词，需要切分出来，而“京是”“民共”这些就不是有 ...
分类：
编程语言 时间：
2019-08-06 17:02:55
阅读次数：
112
第一步：安装全文检索框架django-haystack pip3 install django-haystack 第二步：安装搜索引擎 pip3 install whoosh 第三步：在settings配置app 第7步： 第9步：配置URL 第10步 第11步，更改分词方式：改为结巴分词 ...
分类：
其他好文 时间：
2019-08-04 13:19:03
阅读次数：
91
本文将对三种中文分词工具进行使用尝试，这三种工具分别为哈工大的LTP，结巴分词以及北大的pkuseg。 首先我们先准备好环境，即需要安装三个模块：pyltp, jieba, pkuseg以及LTP的分型模型 。在用户字典中添加以下5个词语： 经 少安 ...
分类：
其他好文 时间：
2019-08-03 17:33:11
阅读次数：
141
全文检索不同于特定字段的模糊查询，使用全文检索的效率再高，并且能够对于中文进行分词处理。 haystack:全文检索框架，支持whoosh、solr、Xaplan、Elasticsearc四种全文检索引擎 whoosh:纯python编写的全文搜索引擎，虽然 性能比不上sphinx、xapian、e ...
分类：
其他好文 时间：
2019-08-02 20:22:07
阅读次数：
110
ElasticSearch简介：ElasticSearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性，能使数据在生产环境变得更有价值。ElasticSearch的实现原理主要分为以下几个步骤，首先用户将数据提交到ElasticSearch数据库中，再通过分词控制器去将对应的语句分词，将其权重和分
分类：
其他好文 时间：
2019-08-02 16:18:14
阅读次数：
116
自然语言处理之LSA LSA(Latent Semantic Analysis), 潜在语义分析。试图利用文档中隐藏的潜在的概念来进行文档分析与检索，能够达到比直接的关键词匹配获得更好的效果。 LSA的核心思想 假设有 nn 篇文档，这些文档中的单词总数为 mm (可以先进行分词、去词根、去停止词操 ...
分类：
编程语言 时间：
2019-07-29 21:33:59
阅读次数：
223
cat 命令用于连接文件并打印到标准输出设备上。cat是concatenate的简写，类似于dos下面的type命令，使用权限为所有使用者 concatenateadj.连在一起的；连锁的v.使连接（连续，衔接）起来；连锁；串级第三人称单数： concatenates 现在分词： concatena ...
分类：
其他好文 时间：
2019-07-28 14:03:40
阅读次数：
85
Be动词的形式：现在：be, is, am, are, 过去：was, were, 现在分词：being, 过去分词：been; 1. The man is back.2. They are back.3. He was back.4. They were back.5. They have bee ...
分类：
其他好文 时间：
2019-07-28 13:34:10
阅读次数：
78
MapReduce 实例一：（进行文件的分词读取） 1.1 首先导入架包 1.2 编写Mapper 1.3 编写Reduce 1.4 编写job驱动 1.5 在hsfs 中的方法： [root@head42 ~]# hadoop jar mapreduce-1.0-SNAPSHOT.jar com. ...
分类：
其他好文 时间：
2019-07-25 00:53:34
阅读次数：
184
初次接触 Elasticsearch 的同学经常会遇到分词相关的难题，比如如下这些场景：为什么明明有包含搜索关键词的文档，但结果里面就没有相关文档呢？我存进去的文档到底被分成哪些词(term)了？我自定义分词规则，但感觉好麻烦呢，无从下手如果你遇到过类似的问题，希望本文可以解决你的疑惑。1. 上手让 ...
分类：
其他好文 时间：
2019-07-24 18:00:56
阅读次数：
133
