0、题记日志分析是ELK最常用、最核心业务场景之一。如果你正在使用ElasticStack并且正尝试将自定义Logstash日志映射到Elasticsearch，那么这篇文章适合你。Logstash写入ES之前的中间数据处理过程一般叫做：数据ETL或者数据清洗。本文重点介绍数据清洗环节的非结构数据转化为结构化数据的——Grok实现。1、认知前提老生常谈，夯实基础认知。ELKStack是三个开源项目
分类：
其他好文 时间：
2020-07-31 01:06:57
阅读次数：
77
0、问题引出经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。1、可视化展示ELK效果如果条件允许，demo的内容是：通过logstash同步日志或数据库（oracle、mysql）表的数据到Elasticsearch，然后通过kibana进行可视化。1通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。2展示实时数据的数据量。3展示你定的几个维度的数据信息
分类：
其他好文 时间：
2020-07-31 01:05:26
阅读次数：
101
1、问题引出来自星球同学的提问：“Ingestnode什么场景会遇到它？一直没搜到它是在什么场景工作的？”的确我们比较关心集群的节点角色的划分。包括：集群应该几个节点？几个节点用于数据存储？要不要独立Master节点、协调节点？但是Ingestnode的场景用的比较少。2、集群节点角色划分梳理之前的文章：刨根问底|Elasticsearch5.X集群多节点角色配置深入详解有过解读。本文再参考7.1
分类：
其他好文 时间：
2020-07-31 01:02:01
阅读次数：
188
一、前提条件 下载并安装好minio、es环境 其中es版本为7版本以上 二、安装、配置 1、安装es需要的插件（需要重启服务） /usr/share/elasticsearch/bin/elasticsearch-plugin install repository-s3 2、配饰访问minio的账 ...
分类：
其他好文 时间：
2020-07-29 21:26:41
阅读次数：
82
题记percolatorquery大家肯定在文档中见过，但实际业务中则较少用到。本文探究一下percolatorquery的使用方法、原理、适用场景。1、什么是percolator查询percolator中文含义：***器。percolatorquery等价于***查询或者反向查询。我们相信大多数Elasticsearch开发人员都会按照惯例进行思考，我们为数据建模并将其存储在索引中。然后，他们通过搜
分类：
其他好文 时间：
2020-07-29 18:00:55
阅读次数：
75
0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。来自运维球友讨论的真实线上吐槽问题总结：问题1：开发不规范。我们这边es都是我们在推,很多开发不会用或者用的不规范！问题2：不管性能，用起来再说！场景1：我们这边开发只要work，管他wildcard，能模糊就好，管他内存，windowssize死命地设，不管多少页都让它翻。问题3：不评估可行性和高可用性，先搞起
分类：
其他好文 时间：
2020-07-29 18:00:21
阅读次数：
102
DockerFile构建ElasticSearch镜像安装IK中文分词器插件 为什么要安装IK中文分词器？ ES提供的分词是英文分词，对中文做分词时会拆成单字而不是词语，非常不好，因此索引信息含中文时需要使用中文分词器插件。 一、环境及文件准备 环境准备 VMWare版本：15.5.5 操作系统：C ...
分类：
其他好文 时间：
2020-07-29 17:44:12
阅读次数：
85
背景 ElasticSearch 的使用度越来越普及了，很多公司都在使用。有做日志搜索的，有做商品搜索的，有做订单搜索的。 大部分使用场景都是通过程序定期去导入数据到 ElasticSearch 中，或者通过 CDC 的方式来构建索引。在这种场景下，更新数据都是单条更新，比如 ID=1 的数据发生了 ...
分类：
其他好文 时间：
2020-07-29 15:39:34
阅读次数：
155
1、问题引出微信群里的线上实战问题：诸位大哥，es中：keyword类型的字段进行高亮查询，值为123asd456，查询sd4，高亮结果是em123asd456em有没有办法只对我查询的sd4高亮？明明查询id的一部分，却高亮结果是整个id串，怎么办？死磕Elasticsearch技术微信群2、一个Demo描述清楚问题注：本文示例DSL在7.2版本运行ok，6.X之前早期版本可能需要微调。PUTf
分类：
其他好文 时间：
2020-07-29 15:05:11
阅读次数：
164
题记几个月以来，我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和Elasticsearch官方文档中已经介绍的内容。本文梳理的内容都是从线上实践问题和个人总结的经验汇总得来的。文章从以下几个维度展开讲解：映射（Mapping）设置（Setting）查询方式（Querying）实战技巧
分类：
其他好文 时间：
2020-07-29 15:04:50
阅读次数：
71
