?一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值，内容一般分为两部分，非结构化的文本，或结构化的文本。 关于结构化的数据 JSON、XML、HTML HTML文本（包含JavaScript代码）是最常见的数据格式，理应属于结构化的文本组织，但因为一般我们需要的关键信息并非 ...
分类：
编程语言 时间：
2020-10-13 17:08:27
阅读次数：
31
一、阅读释疑 ■ Bungee jumping looks like fun. 主：Bungee jumping（动名词作主语，表已知的事实或经验。） 谓：look like。 宾：fun. 感官动词之后一律用形容词（或可作形容词用的分词）作表语。 感官动词后绝不可用名词作表词，因为其本身为不及物动 ...
分类：
其他好文 时间：
2020-09-18 17:17:15
阅读次数：
44
IK分词器虽然自带词库 但是在实际开发应用中对于词库的灵活度的要求是远远不够的,IK分词器虽然配置文件中能添加扩展词库,但是需要重启ES 这章就当写一篇扩展了 其实IK本身是支持热更新词库的,但是需要我感觉不是很好 词库热更新方案: 1:IK 原生的热更新方案,部署一个WEB服务器,提供一个Http ...
分类：
数据库 时间：
2020-09-18 00:20:51
阅读次数：
45
1 查看索引的mapping结构 GET http://ip:port/index/_mapping 2 索引的mapping结构中添加字段 a）增加字段 sourceType，类型为keyword。keyword与text的区别为：keyword在查找时不分词，完全匹配地查找。 PUT http: ...
分类：
其他好文 时间：
2020-09-17 18:50:54
阅读次数：
23
keep on 继续，反复地做 keep on with 保持联系 keep off 离开，远离，使被延迟 keep from 远离，阻止 keep at 使继续 keep along 沿…继续 keep up 持续不变，使不掉下 keep up with 跟上 keep in 使保留在，持续处于 ...
分类：
其他好文 时间：
2020-09-17 14:08:54
阅读次数：
51
怎么用Python画出好看的词云图？点击上方“Python读数”，选择“星标”公众号重磅干货，第一时间送达相信很多人在第一眼看到下面这些图时，都会被其牛逼的视觉效果所吸引，这篇文章就教大家怎么用Python画出这种图。前期准备上面的这种图叫做词云图，主要用途是将文本数据中出现频率较高的关键词以可视化的形式展现出来，使人一眼就可以领略文本数据的主要表达意思。词云图中，词的大小代表了其词频，越大的字代
分类：
编程语言 时间：
2020-09-11 15:52:36
阅读次数：
39
搜索引擎三大过程 爬取内容、进行分词、建立倒排索引。 分词器 分词器使用IK，通常为了保证索引时覆盖度和搜索时准确度,索引分词器采用ik_max_word,搜索分析器采用ik_smart模式。可在IK的配置文件中配置自定义的词典、停词词典。 倒排索引 Elasticsearc依赖Lucene建立倒排 ...
分类：
其他好文 时间：
2020-09-07 19:19:25
阅读次数：
60
一、安装IK分词器 下载ik分词器插件 wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.2/elasticsearch-analysis-ik- 使用linux下载会很慢，于是我自己去git ...
分类：
其他好文 时间：
2020-09-07 19:07:17
阅读次数：
48
这篇文章主要来介绍下什么是Analysis，什么是分词器，以及ElasticSearch自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。首先来说下什么是Analysis：什么是Analysis？顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在ES中，Analysis是通过分词器（Analyzer）来实现的，可使用ES内置的分析器或者按需定制化分析
分类：
其他好文 时间：
2020-08-28 11:58:35
阅读次数：
45
/** 文字分词 隐马尔可夫模型 共4种状态S B M E AMap 为状态转移概率矩阵 4*4,表示从{S B M E}到{S B M E}的概率 BMap 为当前字属于某种状态{S B M E}的概率 * */ //有限状态 const S=['S','B','M','E'] const sta ...
分类：
编程语言 时间：
2020-08-26 18:59:25
阅读次数：
60
