仅罗列了一些常用基础配置,更多配置请到官网查看 https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html elasticsearch.yml配置文件 # Cluster #es集群名称,es会自动发现在同一网 ...
分类:
其他好文 时间:
2020-07-18 22:02:02
阅读次数:
73
1、什么是深度分页 深度分页其实就是搜索的深浅度,比如第1页,第2页,第10页,第20页,是比较浅的;第10000页,第20000页就是很深了。 假设我们要搜索9999到10009的10条数据 假设shard数有3个,每个shard有10万条数据 如此一来,搜索得太深,就会造成性能问题,会消耗内存和 ...
分类:
其他好文 时间:
2020-07-18 19:55:15
阅读次数:
116
1、准备数据 1) 创建索引 2) 创建mapping JSON数据如下 { "properties": { "id": { "type": "long" }, "age": { "type": "integer" }, "username": { "type": "keyword" }, "nic ...
分类:
其他好文 时间:
2020-07-18 15:24:23
阅读次数:
90
代码: import json from pyspark.sql import SparkSession from pyspark import SparkConf def trans_form(data_tuple): """ 对从es读取出来的每一条数据进行格式转换 :param data_tu ...
分类:
其他好文 时间:
2020-07-17 22:12:04
阅读次数:
101
ELK docker pull elasticsearch:6.7.1docker pull kibana:6.7.1docker pull logstash:6.7.1docker run -itd --name elasticsearch6.7.1 -p 9200:9200 -p 9300:93 ...
分类:
其他好文 时间:
2020-07-17 19:41:08
阅读次数:
58
1,准备linux虚拟机环境(CentOS 7)本次安装用的是ELK7.2.0的版本(版本一定要一致) 2,先在linux安装java环境 //查找安装列表 yum -y list java* //安装 yum install java-1.8.0-openjdk.x86_64 //完成安装后验证 ...
分类:
其他好文 时间:
2020-07-17 19:27:20
阅读次数:
81
1,讲分词器的文件夹放入es安装包的plugins,重新启动elasticsearch //查询es运行中的进程pid ps -aux|grep elasticsearch //杀死进程 kill -9 pid //使用es账户启动 nohup ./elasticsearch & 2,重启es,然后 ...
分类:
其他好文 时间:
2020-07-17 19:24:23
阅读次数:
67
1,讲分词器的文件夹放入es安装包的plugins,重新启动elasticsearch //查询es运行中的进程pid ps -aux|grep elasticsearch //杀死进程 kill -9 pid //使用es账户启动 nohup ./elasticsearch & 2,重启es,然后 ...
分类:
其他好文 时间:
2020-07-17 16:22:28
阅读次数:
69
1 ealsticsearch常用术语 Index 索引 类比mysql中的表 6.0之后 Document 文档数据 类比mysql 表中的一行数据 Field字段 类比mysql表字段 Query DSL 查询语法 2 elasticsearch crud create 创建文档 read 读取 ...
分类:
其他好文 时间:
2020-07-16 21:38:56
阅读次数:
78
1.Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法? 1、64 GB 内存的机器是非常理想的, 但是 32 GB 和 16 GB 机器也是很常见的。少于 8 GB 会适得其反。 2、如果你要在更快的 CPUs 和更多的核心之间选择,选择更多的核心更好。多个内核提供的额外并 ...
分类:
其他好文 时间:
2020-07-16 21:21:28
阅读次数:
56