Beats介绍 Beats 是轻量型数据采集器，Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 官网：https://www.elastic.co/cn/beats/ 文档：htt ...
分类：
其他好文 时间：
2020-06-21 13:39:09
阅读次数：
71
[root@localhost ~]# docker pull elasticsearch:7.8.0 安装elasticsearch:7.8.0[root@localhost ~]# docker pull kibana:7.8.0 安装安装elasticsearch:7.8.0版本对应的可视化工 ...
分类：
系统相关 时间：
2020-06-21 13:29:25
阅读次数：
170
想了解 ES 集群的底层原理，不再只关注业务层面了。 前置前提： 1、只有候选主节点（master：true）的节点才能成为主节点。 2、最小主节点数（min_master_nodes）的目的是防止脑裂。 这个我看了各种网上分析的版本和源码分析的书籍，云里雾里。 核对了一下代码，核心入口为 find ...
分类：
其他好文 时间：
2020-06-21 09:54:22
阅读次数：
96
解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”， 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 检索或者其他业务受到影响。 如何调优，正如问题 1 所说，这里细化一下： 3.1 动态索引层面 基于模板+时间+rollover api 滚动创建索引，举例 ...
分类：
其他好文 时间：
2020-06-20 21:10:53
阅读次数：
53
面试官：想了解应聘者之前公司接触的 ES 使用场景、规模，有没有做过比较大 规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES 集群架构 13 个节点，索引根据通道不同共 20+索引，根据日期，每日 递增 20+，索引：10 分片，每日递增 1 亿+数据， 每个通道每 ...
分类：
其他好文 时间：
2020-06-20 19:36:09
阅读次数：
80
这里的索引文档应该理解为文档写入 ES，创建索引的过程。 文档写入包含：单文档写入和批量 bulk 写入，这里只解释一下：单文档写入流程。 记住官方文档中的这个图。 第一步：客户写集群某节点写入数据，发送请求。（如果没有指定路由/协调节点， 请求的节点扮演路由节点的角色。）第二步：节点 1 接受到请 ...
分类：
其他好文 时间：
2020-06-20 11:38:43
阅读次数：
168
协调节点默认使用文档 ID 参与计算（也支持通过 routing），以便为路由提供合适的分片。 shard = hash(document_id) % (num_of_primary_shards) 1、当分片所在的节点接收到来自协调节点的请求后，会将请求写入到 Memory Buffer，然后定时 ...
分类：
其他好文 时间：
2020-06-20 11:24:13
阅读次数：
115
1、关闭缓存 swap; 2、堆内存设置为：Min（节点内存/2, 32GB）; 3、设置最大文件句柄数； 4、线程池+队列大小根据业务需要做调整； 5、磁盘存储 raid 方式——存储有条件使用 RAID10，增加单节点性能以及避免单节点存储故障。 ...
分类：
系统相关 时间：
2020-06-20 11:17:31
阅读次数：
100
Kibana介绍 Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以 使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对 数据进行 ...
分类：
其他好文 时间：
2020-06-20 11:15:09
阅读次数：
72
Lucene 是有索引和搜索的两个过程，包含索引创建，索引，搜索三个要点。可以基于这个脉络展开一些。 最近面试一些公司，被问到的关于 Elasticsearch 和搜索引擎相关的问题，以及自己总结的回答。 ...
分类：
其他好文 时间：
2020-06-20 11:02:17
阅读次数：
83
