标签：启用 one ide arch tran 堆内存 etc 机器 法则
ES 集群不停机迁移，迁移过程中不影响业务使用。 所用集群版本为 6.3.0 。
1、业务通过域名访问集群；
2、在新的机器搭建集群；
3、对原有集群进行快照，万一数据有丢失可以从快照进行恢复；
4、新旧集群进行合并，并强制使旧集群数据通过数据均衡的方式迁移到新集群；
5、下线原有旧集群。
1、在新的机器搭建集群的方法
1）机器准备（root设置）：参考官网
vim /etc/security/limits.conf 解除文件与内存限制 * soft memlock unlimited * hard memlock unlimited * - nofile 65536 * - core unlimited 生效: 退出再登入 vim /etc/sysctl.conf 添加 vm.max_map_count = 262144 vm.swappiness = 1 生效：sysctl -p
2）配置节点：参考官网
The order of precedence for cluster settings is: transient cluster settings persistent cluster settings settings in the elasticsearch.yml configuration file.
注意事项：
1）ES 堆内存需要在32G 以内，最好是26G。
2）shard越多，QPS就会越低(详情)，Shard大小官方推荐值为20-40GB（详情），每1GB堆内存对应集群的分片在20-25之间（26G 可以存储520个 shard）（详情）；
每个节点上可以存储的分片数量与可用的堆内存大小成正比关系，但是 Elasticsearch 并未强制规定固定限值。这里有一个很好的经验法则：确保对于节点上已配置的每个 GB，将分片数量保持在 20 以下。如果某个节点拥有 30GB 的堆内存，那其最多可有 600 个分片，但是在此限值范围内，您设置的分片数量越少，效果就越好（详情）。每个节点的 shard 数量设置方法，集群中 shard 分配策略设置方法。
3）master 与 client 节点的内存与 CPU 都用量比较少，相应的参数可以设小些。
2、集群快照的方法：通过自己搭建Hadoop 集群实现（需要安装 hdfs 插件）
curl -XPUT http://XXX/_snapshot/hdfs_repo -H ‘Content-Type: application/json‘ -d ‘ { "type": "hdfs", "settings": { "uri": "hdfs://XXX:8800/", "path": "hdfs_repo", "compress": true } }‘
3、新旧集群合并：可以启动一个能够连接两个集群的 master, 这样两个集群就能合并成一个集群
注意：相同的索引会覆盖，如果集群有部分索引 RED 了，确认无影响后可以通过 reroute 重新分配分片
POST /_cluster/reroute?retry_failed=true&pretty { }
4、集群数据迁移的方法：通过分片配置过滤实现，使数据从旧机器中迁移走。
curl -XPUT http://XXX/_cluster/settings -H ‘Content-Type: application/json‘ -d ‘ { "transient": { "cluster.routing.allocation.exclude._name": "XXX" } }‘
1、数据冷热分离
1、使所有分片都不能分配在 ssd 上； curl -XPUT "http://XXX/*/_settings?master_timeout=120s" -H ‘Content-Type: application/json‘ -d‘ { "index.routing.allocation.exclude.box_type": "hot" }‘ 2、使 test 能够分配在 ssd 上； PUT test/_settings { "index.routing.allocation.include.box_type": "hot" } 3、启用 tag 感知策略（不设也没关系） PUT /_cluster/settings { "transient" : { "cluster.routing.allocation.awareness.attributes": "box_type" } }
2、使用 esrally 进行压测
3、kibana
4、滚动重启
1、暂停集群数据均衡 PUT _cluster/settings { "transient": { "cluster.routing.rebalance.enable": "none" } } 2、禁止分片分配 PUT _cluster/settings { "transient": { "cluster.routing.allocation.enable": "none" } } 3、刷新索引（可选） curl -XPOST http://XXX/_flush/synced 4、此处进行节点更新操作后再重启 5、重新允许分片分配 PUT _cluster/settings { "persistent": { "cluster.routing.allocation.enable": null } } 6、待集群恢复 green 后再重复2~5步，直到完成所有节点的更新重启 7、恢复集群数据均衡
标签：启用 one ide arch tran 堆内存 etc 机器 法则
原文地址：https://www.cnblogs.com/yuanzhenliu/p/11605204.html
