作者:bellen,腾讯云大数据研发工程师。腾讯云Elasticsearch被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与方法,希望与大家一同交流。背景因为游戏业务本身的日志数据量非常大(写入峰值在100wqps),在服务客户的几个月中,踩了不少坑,经过数次优化与调整,把客户的ES集群调整
分类:
其他好文 时间:
2020-08-07 10:01:06
阅读次数:
63
作者:bellen,腾讯云大数据研发工程师。腾讯云Elasticsearch被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与方法,希望与大家一同交流。背景因为游戏业务本身的日志数据量非常大(写入峰值在100wqps),在服务客户的几个月中,踩了不少坑,经过数次优化与调整,把客户的ES集群调整
分类:
其他好文 时间:
2020-08-07 10:00:44
阅读次数:
66
在业务真正使用 ElasticSearch 之前,你可以像我一样,借助于 Rally 对备选的 ElasticSearch 集群进行压力测试,并通过对压测结果进行分析,从而获得明确的选型建议。 ...
分类:
其他好文 时间:
2020-08-07 09:44:15
阅读次数:
46
本文源码:GitHub·点这里||GitEE·点这里一、集群环境搭建1、环境概览ES版本6.3.2,集群名称esmaster,虚拟机centos7。服务群角色划分说明en-mastermaster主节点:esnode1en-node01slave从节点:esnode2en-node02slave从节点:esnode3ElasticSearch基础功能和用法:MySQL数据全量和增量方式向ES搜索引
分类:
其他好文 时间:
2020-07-16 12:13:06
阅读次数:
84
前言在之前,我们增加ES权限验证,常用的方法就是添加HTTP密码,但是,对于使用来说不是很友好,X-pack好用,但是是收费的。不过,在ES6以后,X-pack陆续放开了一些功能,比如Monitor集群监控功能,ES6.8及以后版本ES又将部分安全性功能免费开放了,包含安全认证功能,之后版本又开放一... ...
分类:
其他好文 时间:
2020-07-07 23:27:07
阅读次数:
74
1>拉取镜像 docker pull elasticsearch:7.6.2 2>创建数据挂在目录,以及配置ElasticSearch集群配置文件 mkdir /docker/ES mkdir /docker/ES/data1 mkdir /docker/ES/data2 mkdir /docker ...
分类:
其他好文 时间:
2020-07-02 16:30:27
阅读次数:
58
搭建过程 1、Elasticsearch集群搭建 2、Cerebro插件安装 tar -zxvf cerebro-0.9.1.tgz 解压cerebro压缩包 配置cerebro文件夹下 application.conf 配置集群的地址 ./cerebro -Dhttp.port=8080 启动ce ...
分类:
其他好文 时间:
2020-06-29 15:43:43
阅读次数:
237
因elasticsearch 集群中有需要需迁移,从A集环境迁移到B集群中,数据量不小。 网上搜索找到几种方案,试了下这种。 0.安装nodejs(如果已安装请忽略)执行 yum install -y nodejs 1.升级nodejs执行 npm install -g n n latest 2.安 ...
分类:
其他好文 时间:
2020-06-29 13:04:44
阅读次数:
66
1、集群简介:ElasticSearch集群配置一般情况下需要的服务器台数为3台、5台、7台等,这里我们就以三台ElasticSearch服务器为例,并成功安装ElasticSearch7.1.1,成功安装后分别启动三个ElasticSearch服务(安装方法请参考:Elasticsearch安装教 ...
分类:
其他好文 时间:
2020-06-25 11:56:28
阅读次数:
60
elasticsearch集群其中源es使用虚拟机CentOS搭建,新的node使用k8s搭建,同步速度慢 elsasticsearch同步慢,出现以下提示的解决版本 [ERROR][o.e.x.m.c.n.NodeStatsCollector] [9OfhjwS] collector [node_ ...
分类:
其他好文 时间:
2020-06-17 13:06:38
阅读次数:
310