索引概念简介

通常说的索引有两种词性，名称和动词。

• 动词索引indexing，索引一个文档，表示把一个文档存储到索引Index里，可以用来查询和检索，es采用倒排索引
• 名词索引index，简单的理解成关系型数据库中的数据库的概念

索引的命名必须是全部小写，不能以下划线开头．

创建索引

创建索引可以显式创建，也可以隐式创建。

• 显式创建：在关系型数据库中，需要先建数据库，在创建数据库时可以指定一些配置，如字符编码，数据库引擎等，创建表时需要指定表都包含哪些列，每个列的数据类型等，在在Elasticsearch中创建数据库(索引)和创建表(映射)是一步完成的，显式创建需要在创建时指定对索引的一些配置，需要列举出索引包含的字段，也就是所谓的映射Mapping
• 隐式操作：隐式操作的方式是直接向索引中插入一条文档即可，es在插入的时候会判断索引是否存在，如果不存在，系统会根据文档包含的字段作为索引的映射，对索引的一些配置采用默认的配置来创建出来索引，创建索引的过程是es在后台默默的实现的。

显式创建可以根据具体情况对索引进行配置，而且对于中文分词es是默认采用的分词是适合英文并适合中文的，可以在创建索引的时候自己指定分词器。

ES支持的数据类型

• text 文本类型，text类型如果不显示指定映射的字段属性，默认是使用标准分词器进行分词，一般数据类型是text要么显示指定分词器，要么不分词，一般不使用默认的分词器（除非文本是纯英文）
• keyword : 如果数组中的值是字符串，最好使用keyword, 它不会对字符串进行分词
• date 支持的格式有：可以通过format定义日期的数据格式，也支持毫秒数
• boolean
• float
• double
• byte
• short
• integer
• long
• object
• nested : 嵌套对象, 用于数组中的元素是对象的[{}, {}]
• ip 即支持ipv4也支持ipv6
• completion
• binary
• geo-point： 支持经纬度存储和距离范围检索
• geo-shape：支持任意图形范围的检索，例如矩形和平面多边形

注意：不同的数据类型索引的方式有稍许不同，如date何text类型不一样，date采用精确匹配，text采用全文检索方式。对于数组，es并没有专门的数组类型。任何域都可以包含0、1或者多个值，就像全文域分析得到多个词条。这暗示 数组中所有的值必须是相同数据类型的。

映射mappings

映射就是创建索引时指定都包含哪些字段以及字段的数据类型、分词器等一些设置。

字段设置参数

• “type”: “text”, // 指定字段的数据类型
• “analyzer”:”ik _max_word”, //指定分词器的名称,即可用使用内置的分词器也可以使用第三方分词器
  
  • 默认standard，
  • 内置的分析器有whitespace 、 simple和english
  • 第三方分词器：ik分词器 包括ik_max_word和ik_smart，ik_max_word：会将文本做最细粒度的拆分；尽可能多的拆分出词语 ，ik_smart：会做最粗粒度的拆分；已被分出的词语将不会再次被其它词语占有
• “search_analyzer”:”ik _max_word” // 指定查询的分词器,默认和analyzer保持一致，一般分词器和查询分词器要保持一致
• “properties”: {}, // 当数据类型是object时，需要具体指定内部对象对应的字段
• “format”: “yyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis” // 格式化，一般用于指定日期类型的格式
• “dynamic”: “strict” 动态映射配置，当文档中发现新字段时应该如何处理, 可以用在根 object 或任何 object 类型的字段上，你可以将 dynamic 的默认值设置为 strict , 而只在指定的内部对象中开启它
  
  • true: 默认值，动态添加新的字段
  • false: 忽略新的字段
  • strict: 如果遇到新字段抛出异常,如果Elasticsearch是作为重要的数据存储，可能就会期望遇到新字段就会抛出异常，这样能及时发现问题。
• dynamic_templates 动态模板：为满足条件的字段做统一映射，可以通过字段名称或者字段类型来匹配指定的映射规则，每个模板都有一个名称，你可以用来描述这个模板的用途， 一个mapping来指定映射应该怎样使用，以及至少一个参数 (如 match) 来定义这个模板适用于哪个字段。
  模板按照顺序来检测；第一个匹配的模板会被启用
  
  • match 参数只匹配字段名称
  • match_mapping_type 允许你应用模板到特定类型的字段上，就像有标准动态映射规则检测的一样
• “fielddata”:boolean //针对分词字段，参与排序或聚合时能提高性能，默认是false，false是不允许聚合操作的
• “boost”:1.23 // 权重：字段级别的分数加权，指定字段在搜索时所占的权重，所占的百分比
• “fields”:{“raw”:{“type”:”keyword”}} //可以对一个字段提供多种索引模式，同一个字段的值，一个分词，一个不分词，应用场景：即可以用于对字符串进行字符排序，也可以全文索引,排序时使用字段.raw来引用排序字段
• “index”: “analyzed”, // 指定文本类型的字段是否分词、是否存储该字段的值（在新版本中index值为boolean类型，语意也发生了变化，TODO待更新），有三个值：
  
  • analyzed:首先分析字符串，然后索引(存储)它。换句话说，以全文索引这个域（也就是说即分词，又存储字段的值，即可以通过全文检索的方式对该字段进行搜索）
  • not_analyzed:索引(存储)这个域，所以它能够被搜索，但索引的是精确值。不会对它进行分析(不对字段的值进行分词，而是完整的存储该值，所以只能通过精确值才能搜索出来，即完全匹配，相当于sql中的等号=的作用)
  • no:不索引这个域。这个域不会被搜索到(对该字段不分词，也不存储，相当于没有这个字段一样？？？)
• “store”:false//是否单独设置此字段的是否存储而从_source字段中分离，默认是false，只能搜索，不能获取值
• “doc_values”:false//对not_analyzed字段，默认都是开启，分词字段不能使用，对排序和聚合能提升较大性能，节约内存
• “ignore_above”:100 //超过100个字符的文本，将会被忽略，不被索引
• “include_in_all”:ture//设置是否此字段包含在_all字段中，默认是true，除非index设置成no选项
• “index_options”:”docs”//4个可选参数docs（索引文档号） ,freqs（文档号+词频），positions（文档号+词频+位置，通常用来距离查询），offsets（文档号+词频+位置+偏移量，通常被使用在高亮字段）分词字段默认是position，其他的默认是docs
• “norms”:{“enable”:true,”loading”:”lazy”}//分词字段默认配置，不分词字段：默认{“enable”:false}，存储长度因子和索引时boost，建议对需要参与评分字段使用 ，会额外增加内存消耗量
• “null_value”:”NULL”//设置一些缺失字段的初始化值，只有string可以使用，分词字段的null值也会被分词
• “position_increament_gap”:0//影响距离查询或近似查询，可以设置在多值字段的数据上火分词字段上，查询时可指定slop间隔，默认值是100
• “similarity”:”BM25”//默认是TF/IDF算法，指定一个字段评分策略，仅仅对字符串型和分词类型有效
• “term_vector”:”no”//默认不存储向量信息，支持参数yes（term存储），with_positions（term+位置）,with_offsets（term+偏移量），with_positions_offsets(term+位置+偏移量) 对快速高亮fast vector highlighter能提升性能，但开启又会加大索引体积，不适合大数据量用

ik分词器 https://github.com/medcl/elasticsearch-analysis-ik 支持自定义热词配置(如 香菇 蓝瘦 帅的一逼 等)

// 默认standard，内置的分析器有whitespace 、 simple 和 english
// ik支持两种分词器：ik_max_word，ik_smart
// 分析器：用于测试分词的数据
GET /_analyze
{
  "analyzer" : "ik_max_word",
  "text": "美国留给伊拉克的是个烂摊子吗"
}
1
2
3
4
5
6
7
8

settings设置

settings用于设置索引的分片数量、副本数量、默认的分词器等，Elasticsearch 提供了优化好的默认配置。 除非你理解这些配置的作用并且知道为什么要去修改，否则不要随意修改。

• “number_of_shards” : 5, // 每个索引的主分片数，默认值是 5 。这个配置在索引创建后不能修改。
• “number_of_replicas” : 1, // 每个主分片的副本数，默认值是 1 。对于活动的索引库，这个配置可以随时修改。
• “analysis” : { “analyzer” : { “ik” : { “tokenizer” : “ik_ max_word” } } }

// 创建只有 一个主分片，没有副本的小索引：
PUT /my_temp_index
{
    "settings": {
        "number_of_shards" :   1,
        "number_of_replicas" : 0
    }
}
// 用update-index-settings API 动态修改副本数：
PUT /my_temp_index/_settings
{
    "number_of_replicas": 1
}
1
2
3
4
5
6
7
8
9
10
11
12
13

aliases别名

索引别名就像一个快捷方式或软连接,或者是一个指向，都是最终指的同一个东西，别名 带给我们极大的灵活性，允许我们做下面这些：

• 在运行的集群中可以无缝的从一个索引切换到另一个索引
• 给多个索引分组 (例如， last_three_months)
• 给索引的一个子集创建 视图

有两种方式管理别名： _alias用于单个操作， _aliases用于执行多个原子级操作。

Mapping一旦创建是不允许修改字段的数据类型的，为了防止以后有可能修改索引的情况，刚开始创建索引时最好就为该索引创建一个别名，然后在程序中直接使用别名，而不使用真实的索引名称。
如果后面需要要修改映射，可以再创建一个新的索引，然后把之前索引里的数据导入到新创建的索引里, 为新索引增加一个别名，将别名从老索引中移除，这样应用程序仍然使用的是别名，而这个别名已经指向了新的索引，这样就达到了不修改索引名而修改索引的目的。

// 0. 创建索引(age的类型为long)
PUT /school_v1
{
  "mappings": {
    "students": {
      "properties": {
        "name": { "type": "text" },
        "age": {"type": "long"}
      }
    }
  }
}

// 1. 为索引创建一个别名
PUT /school_v1/_alias/school

// 查看别名指向的索引
GET /*/_alias/school 
// 查询索引对应的别名
GET /school_v1/_alias/*

// 2.创建一个新的索引，名字不能和之前的不一样，这次将age的数据类型改为short
PUT /school_v2
{
  "mappings": {
    "students": {
      "properties": {
        "name": { "type": "text" },
        "age": {"type": "short"}
      }
    }
  }
}

// 3.迁移数据：将之前的索引里的文档迁移到新的索引上
// 先将数据批量查询出来，然后批量插入
GET /school/students/_search?scroll=1m

POST /schools/students/_bulk
{"index": {"_id": 1}}
{"name": "张三","age": 27}
{"index": {"_id": 2}}
{"name": "小明","age": 28}

GET /schools/students/_search

// 4.为新索引增加别名，别名名称为老索引名称，这样系统可以直接使用老索引的名称来操作新索引
POST /_aliases 
{
  "actions": [
    {
      "add": { "index": "school_v2", "alias": "school"},
      "remove": { "index": "school_v1", "alias": "school"}
    }
  ]
}

GET /school/students/_search
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58

别名就是索引的另一个名字，就像人的姓名和笔名一样，都是指向的同一个人，可以通过POST /_aliases 路径对别名进行add、remove操作

TIP: 在你的应用中使用别名而不是索引名。然后你就可以在任何时候重建索引。别名的开销很小，应该广泛使用。

索引操作

创建索引
PUT /{index}

// 注意：当前创建的索引的动态映射配置根对象是不允许添加新字段的，动态映射类型为严格类型，但是内部对象是允许添加新字段的
PUT /shop_v1
{
    "aliases": {
      "shop": {}
    },
    "settings" : {
        "number_of_shards" :   5,         
        "number_of_replicas" : 1, 
        "refresh_interval": "1s", 
        "analysis" : {
            "analyzer" : {
                "ik" : {
                    "tokenizer" : "ik_max_word"
                }
            }
        }
    },
    "mappings": {
      "goods": {
        "dynamic": "strict",
        "dynamic_templates":[
            { "date": {
                      "match": "*_date", 
                      "match_mapping_type": "date",
                      "mapping": {
                          "type": "date",
                          "format": "yyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" 
                      }
            }},
            { "ik": {
                  "match":              "*", 
                  "match_mapping_type": "string",
                  "mapping": {
                      "type":           "text",
                      "analyzer": "ik_max_word",
                      "search_analyzer": "ik_max_word"
                  }
            }}
         ],
        "properties": {
          "name": {
            "type": "text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word"
          },
          "price": {
            "type": "double"
          },
          "quantity": {
            "type": "integer"
          },
          "colors": {
            "type": "keyword"
          },
          "is_discount": {
            "type": "boolean"
          },
          "create_date": {
            "type": "date",
            "format": "yyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
          },
          "ip_addr": {
            "type": "ip"
          },
          "location": { 
              "type": "geo_point",
              "lat_lon": true
          },
          "merchant": {
            "type": "object",
            "dynamic": true,
            "properties": {
                    "id":           { "type": "long" },
                    "shop_name":    { "type": "text" }
             }    
          },
          "cpu": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90

refresh_interval:索引刷新时间间隔，一个持续时间值， 例如 1s（1 秒） 或 2m（2 分钟）。 一个绝对值1表示的是1毫秒 –无疑会使你的集群陷入瘫痪, -1：表示关闭刷新， 默认为一秒，如果索引了一个文档然后立即尝试搜索它，但却没有搜到，可能是还没有到间隔时间，还没有刷新

• 查看所有索引 GET /_cat/indices?v&pretty

• 查看某个索引 GET /{index}

• 删除索引单个索引 DELETE /{index}

• 删除所有索引 DELETE /_all 或者 DELETE /*

• 删除多个索引： DELETE /index1,index2 或者 DELETE /index*

• 查看索引的映射 GET /{index}/_mapping

• 查看某个索引的某个类型的映射 GET /{index}/_mapping/{type}

• 映射添加新字段 PUT /{index}/_mapping/{type}

PUT /shop/_mapping/goods
{
  "properties": {
    "params": {
      "type":     "nested",
      "properties": {
        "id": { "type": "long" },
        "label": { "type": "text" },
        "value": { "type": "text" }
      }
    }
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13

// 插入一条文档
POST /shop/goods
{
    "name": "【特别尺码】女装 棉混纺休闲针织衫(长袖) 407767 优衣库UNIQLO",
    "price": 149.00,
    "quantity": 100,
    "colors": ["乳白色", "红色", "黄色"],
    "is_discount": true,
    "create_date": "2018-01-31 12:10:30",
    "ip_addr": "192.168.1.1",
    "location": "41.12,-71.34",
    "merchant": {
        "id": 1111,
        "shop_name": "优衣库官方旗舰店"
    },
    "params": [
       {"id": 1, "label":"货号", "value": "7525001123"},
       {"id": 2, "label":"品牌", "value": "Cache Cache"}
    ]
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

查询文档 /{index}/{type}/_search

GET /shop/goods/_search
1

修改索引

• 新增字段
• 修改字段的数据类型

```
// 创建索引
PUT /school
{
  "mappings": {
    "students": {
      "properties": {
        "name": { "type": "text" },
        "age": {"type": "long"}
      }
    }
  }
}

// 插入一条文档
PUT /school/students/1 
{
  "name": "张三",
  "age": 27
}

// 查询映射
GET school/_mapping/students

// 添加文档，增加一个新字段height身高
PUT /school/students/2
{
  "name": "小明",
  "age": 28,
  "height": 1.80
}


GET school/_mapping/students
// 查看映射可以看到自动将height作为float类型添加到映射里面
"height": {"type": "float"}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

重新索引

尽管可以增加新的类型到索引中，或者增加新的字段到类型中，但是不能添加新的分析器或者对现有的字段做改动。 如果你那么做的话，结果就是那些已经被索引的数据就不正确， 搜索也不能正常工作。

对现有数据的这类改变最简单的办法就是重新索引：用新的设置创建新的索引并把文档从旧的索引复制到新的索引。

为了有效的重新索引所有在旧的索引中的文档，用 scroll 从旧的索引检索批量文档 ， 然后用 bulk API 把文档推送到新的索引中。

同时并行运行多个重建索引任务，但是你显然不希望结果有重叠。正确的做法是按日期或者时间 这样的字段作为过滤条件把大的重建索引分成小的任务：

GET /old_index/_search?scroll=1m
{
    "query": {
        "range": {
            "date": {
                "gte":  "2014-01-01",
                "lt":   "2014-02-01"
            }
        }
    },
    "sort": ["_doc"],
    "size":  1000
}
1
2
3
4
5
6
7
8
9
10
11
12
13

如果旧的索引持续会有变化，你希望新的索引中也包括那些新加的文档。那就可以对新加的文档做重新索引， 但还是要用日期类字段过滤来匹配那些新加的文档。

通过创建新的索引，将数据重新迁移到新索引中，这种变相的更改索引的配置的方式的缺点是改变了原索引的名称(索引名称不允许重复，新索引就要使用新的索引名)。

注意

• 禁用_all或者通配符，防止误操作
  对一些人来说，能够用单个命令来删除所有数据可能会导致可怕的后果。如果你想要避免意外的大量删除, 你可以在你的 elasticsearch.yml 做如下配置：action.destructive_requires_name: true
  这个设置使删除只限于特定名称指向的数据, 而不允许通过指定 _all 或通配符来删除指定索引库。你同样可以通过 Cluster State API 动态的更新这个设置。

我的微信公众号: