标签:try index 数据迁移 目录 EAP map 修改 lan 相关
当前工具主要是用来对ES
中的数据进行数据导入/导出,以及对数据迁移相关,使用elasticdump
工具需要使用到npm
,所以需要安装相关的依赖 目前使用到的ES
版本是 7.x
参考下面的连接
https://www.cnblogs.com/haima/p/11235640.html
# 本地安装和全局安装的区别在于它是否自动给你设置环境变量,其他的没有区别
# 本地安装
$ npm install elasticdump
$ ./bin/elasticdump
# 全局安装
$ npm install elasticdump -g
$ elasticdump
注:当前工具的安装,我目前是安装在ES集群本地的,当然可以安装在其他节点,只要网络能够被访问,但是因为在本地,所以走本地网卡,速度比较快!
ES中将数据导出为本地JSON文件
#格式:elasticdump --input {protocol}://{host}:{port}/{index} --output ./test_index.json
#例子:将ES中的test_index 中的索引导出
#导出当前索引的mapping结构
$ elasticdump --input http://192.168.56.104:9200/test_index --output ./test_index_mapping.json --type=mapping
#导出当前索引下的所有真实数据
$ elasticdump --input http://192.168.56.104:9200/test_index --output ./test_index.json --type=data
上面导出的两个文件都是在导入到
ES
中所需要的,一个是mapping
文件,另外一个是数据
,当然mapping
也可以自己手动建立
错误:在安装完成之后,进行首次使用过程中出现错误,错误主要是
CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
,出现当前错误
解决:试过多种方式,但是最终了能够使程序完整跑出来是因为将内存参数调大
#下面两个参数只需要设置一个,我两个都用过,目前记不清用的是哪个起的作用,应该是第一个,所以先设置第一个的参数
$ export NODE_OPTIONS--max-old-space-size=8192
$ export NODE_OPTIONS="--max-old-space-size=8192"
上面内容设置完成之后,还需要注意,在使用过程中需要注意,limit(默认值100)
参数和scrollTime(默认值10m)
,这两个参数都有默认值,
limit:
代表的是每次通过请求从ES中请求的数量,之前我将该参数设置为1000,但是出现了内存溢出,默认值就好
scrollTime:
当前参数代表的是以当前数据生成一个类似镜像的东西,然后通过这个镜像去查询,如果是后面有新的数据进来是不会被纳入的,默认值是10m(分钟),也就是说,如果数据比较多,导出可能耗时比较久,那么可以将当前参数设置大一些,满足能够将数据导出完
如何修改参数:
/root/node-v10.15.0-linux-x64/bin
在安装目录下,找到elasticdump
脚本文件中,找到对应的参数进行修改通过直接命令跟参数的形式进行修改,如:
elasticdump --limit=200 --input http://192.168.56.104/test_index --output ./test_index
参考下面的连接
https://www.cnblogs.com/mojita/p/12011800.html
标签:try index 数据迁移 目录 EAP map 修改 lan 相关
原文地址:https://www.cnblogs.com/haima/p/14642693.html