标签：offset 自动生成 username 软件开发 http lse 不能 oca 过程
全文搜索引擎 Elasticsearch
写在前面
最近在学Elasticsearch ，
我相信只要是接触过开发的都会听过Elasticsearch或ELK这么一个技术。
主要用来做全文检索或大数据分析等，之前一直处理了解状态。
所以打算系统学学Elasticsearch ，这也算是我从零学习Elasticsearch的笔记吧。
1.2 索引Index
-由相同字段的文档列表组成
1.3 节点Node
1.4 集群Cluser
2.Document 介绍
Document 主要就是一个Json Object
json对象有一些字段（Field）组成，常见数据类型：
注意：每一个文档Document都有一个唯一的ID标识
{
"remote_ip":"123.207.226.36",
"user_name":"liuge",
"@timestamp":"2015-05-14T08:23:52.000Z",
"request_action":"GET",
"http_version":"1.1",
"response":"304",
"bytes":"0",
"referrer":"-",
"agent":"-"
}
每一个Document都有一个MetaData (元数据)
元数据：用于标注文档的相关信息
3.Index (索引) 介绍
类比于table,具有相同结构文档的集合
3.RESTful API 介绍
es集群对外提供RESTful API：用户操作集群中的数据
curl -XPUT "HTTP://localhost:9200/ceshi/doc/1" -i -H "Content-Type:application/json" -d
‘
{
"username":"liuge",
"job":"软件开发"
}
‘
方式二：Kibana DevTools
PUT /ceshi/doc/1
{
"useranme":"liuge",
"job":"软件开发"
}
4.Mapping 介绍
Mapping设置，即如何定义数据字段和类型
==========Mapping的字段类型（Filed type）===========================
核心数据类型：
- 字符串 ：text （会分词）, keywork（不会分词）
- 数值型 ：long , integer , byte ,double , float , half_float(节省空间) , scaled_float(节省空间)
- 布尔： boolean
- 日期：date
- 二进制 ： binary
- 范围类型 （新的类型）： integer_range , float_range , long_tange , double_range, date_range复杂的数据类型:
- 数组类型 array
- Object
- 嵌套类型 nested object
地理位置数据类型：
- geo_point
- geo_shape
专用类型：
- 记录ip地址
- 实现自动补全completion
- 记录分次数 token_count
- 记录字符串 hash
- percolator
多字段特性：
- 允许对同一个字段采用不同的配置，比如分词，常见的实现汉字实现拼音搜索
- 实现方式:在汉字中新增一个子字段为pinyin就可以
Kibana DevTools方式：（推荐）
4.1 自定义一个mapping
PUT accounts
{
"settings": {
"index": {
"number_of_shards" : 1,
"number_of_replicas" : 0
}
},
"mappings":{
"doc":{
"dynamic":false, # 设置不允许动态添加，结果是，可以插入未定义的字段，但是不能通过未定义字段值来进行查询
"properties":{
"user": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"title": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
},
"desc": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
}
}
}
}
}
上面代码中，首先新建一个名称为accounts的 Index
这三个字段都是中文，而且类型都是文本（text），所以需要指定中文分词器，不能使用默认的英文分词器。
Elastic 的分词器称为 analyzer。我们对每个字段指定分词器。
"user": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
}
上面代码中，analyzer是字段文本的分词器，search_analyzer是搜索词的分词器。ik_max_word分词器是插件ik提供的，可以对文本进行最大数量的分词。
4.2 新增记录，带上id
PUT accounts/doc/1
{
"user": "张三",
"title": "工程师",
"desc": "数据库管理"
}
新增记录的时候，也可以不指定 Id，这时要改成 POST 请求
POST accounts/doc
{
"user": "李四",
"title": "工程师",
"desc": "系统管理"
}
4.3 删除数据
DELETE accounts/doc/1
DELETE accounts
4.4更新记录就是使用 PUT 请求，重新发送一次数据。
PUT accounts/doc/1
{
"user": "张三",
"title": "工程师",
"desc": "数据库管理，软件开发"
}
4.3 查询数据
使用 GET 方法，直接请求/Index/Type/_search，就会返回所有记录
GET accounts/doc/_search
/Index/Type/id ，返回指定id的记录
GET accounts/doc/1
GET accounts/doc/_search
{
"query":{
"term":{
"_id":"1"
}
}
}
GET accounts/doc/_search
{
"query" : {
"match" : {
"desc" : "管理"
}
},
"from": 1,
"size": 1
}
上面代码使用 Match 查询，指定的匹配条件是desc字段里面包含"软件"这个词
Elastic 默认一次返回10条结果，可以通过size字段改变这个设置。
还可以通过from字段，指定位移。
上面代码指定，从位置1开始（默认是从位置0开始），只返回一条结果。
逻辑运算or
GET accounts/doc/_search
{
"query" : { "match" : { "desc" : "软件 系统" }}
}
逻辑运算and
GET accounts/doc/_search
{
"query": {
"bool": {
"must": [
{ "match": { "desc": "软件" } },
{ "match": { "desc": "系统" } }
]
}
}
}
5 分词介绍
5.1 Analysis
分词是指将文本转为一系列单词的过程，也叫作文本分析
在es里面称为Analysis
在es中专门负责分词的组件叫做分词器（Analyzer）
分词器（Analyzer），es会自带一部分词器
ps:分词执行的顺序也是从上到下的
5.2 分词API的使用
Analyze（分词） API 使用
es提供的用于测试分词的api接口，验证分词效果
可以直接指定分词器（Analyzer）进行测试
POST _analyze
{
"analyzer":"standard", #这个测试用的standard分词器是es自己带的
"text":"Hello World!"
}
可以直接指定索引中的字段进行测试
POST test_index/_analyze
{
"field":"username", # 指定索引（表）的字段
"text":"hello world!"
}
可以自定义分析器进行测试
POST _analyze
{
"analyzer":"standard", #指明自己使用哪一个分词器
"filter":["lowercase"], #指明filter处理为小写
"text":"HEllo WOrld!"
}
5.3 预定义分词器
es中自带的分词器
如下：分词器前面讲到，就是由三个部分组成，这里自带的不同也是三个部分组成上不同
中文分词：是指将一句中文句子切分为一个个单独的词
在英文中，句子内单词可以使用空格做明显分隔，
在中文中，句子内的词语是没有分隔的
常见中文分词系统:
- IK
- jieba
高阶一点的：基于自然语言处理的分词系统
- Hanlp
- THULAC
5.4 自定义分词器
当自带的分词器无法满足需求的时候，可以自定义分词
通过自定义分词的三个部分来实现：
Character Filters
Tokenizer
Token Filters
5.4.1 Character Filters
5.4.2 Tokenizer
-将原始文本按照一定规则切分为单词
自带的如下：
POST _analyze{
"tokenizer":"path_hierachy",
"text":"/one/two/three"
}
5.4.3 Token Filters
POST _analyze{
"text":"a Hello World！",
"tokenizer":"standard",
"filter":[
"stop", # 当有多个filter的时候，会依次执行
"lowercase",
{
"type":"ngram",
"min_gram":2,
"max_gram":4
}
]
}
5.5 自定义分词的API
自定义分词器在索引（具体表）中的设定：
PUT test_index{
"settings":{
"analysis":{
"char_filter":{},
"tokenizer":{},
"filter":{},
"analyzer":{}
}
}
}
demo
PUT testairbnb
{
"settings": {
"index": {
"number_of_shards": 1,
"number_of_replicas": 0,
"analysis": {
"analyzer": {
"autosuggest_analyzer": {
"filter": [
"lowercase",
"asciifolding",
"autosuggest_filter"
],
"tokenizer": "standard",
"type": "custom"
},
"ngram_analyzer": {
"filter": [
"lowercase",
"asciifolding",
"ngram_filter"
],
"tokenizer": "standard",
"type": "custom"
}
},
"filter": {
"autosuggest_filter": {
"max_gram": "20",
"min_gram": "1",
"token_chars": [
"letter",
"digit",
"punctuation",
"symbol"
],
"type": "edge_ngram"
},
"ngram_filter": {
"max_gram": "9",
"min_gram": "2",
"token_chars": [
"letter",
"digit",
"punctuation",
"symbol"
],
"type": "ngram"
}
}
}
}
},
"mappings": {
"doc": {
"dynamic": false,
"properties": {
"accommodates": {
"type": "integer"
},
"bathrooms": {
"type": "integer"
},
"bed_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"bedrooms": {
"type": "integer"
},
"beds": {
"type": "integer"
},
"date_from": {
"type": "date",
"format": "yyyyMMdd"
},
"date_to": {
"type": "date",
"format": "yyyyMMdd"
},
"has_availability": {
"type": "boolean"
},
"host_image": {
"type": "keyword",
"ignore_above": 256,
"index": false
},
"host_name": {
"type": "text",
"analyzer": "autosuggest_analyzer",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"image": {
"type": "keyword",
"ignore_above": 256,
"index":false
},
"listing_url": {
"type": "keyword",
"ignore_above": 256
},
"location": {
"type": "geo_point"
},
"name": {
"type": "text",
"analyzer": "autosuggest_analyzer",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"price": {
"type": "float"
},
"property_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"room_type": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}
}
}
}
}
上面分词的配置中，能够完全实现个性化设定
参考文章http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html
参考文章https://coding.imooc.com/class/chapter/181.html
标签：offset 自动生成 username 软件开发 http lse 不能 oca 过程
原文地址：https://www.cnblogs.com/Leo_wl/p/10064632.html
