在学习springboot-vue前后端分离项目过程中, 需要很多中间件和工具来架构好项目。这就使得每次开始就要打开控制台运行redis、elasticsearch、rabbitMQ等十分麻烦, 我就寻思着十分可以用.bat批量一次性执行所有任务, 折腾个把小时后找到了办法。 ...
ELKR 概述 ELK(R) = Elasticsearch + Logstash + Kibana (+ Redis) 是一套完整的工业级日志分析工具。 Elasticsearch 是整个日志分析系统的核心，它负责对日志数据进行分析、索引等重要工作； Logstash 则主要用于对日志数据进行初步 ...
分类：
其他好文 时间：
2020-06-26 18:13:31
阅读次数：
74
面试官：想了解对 ES 集群的运维能力。 解答： 1、关闭缓存 swap; 2、堆内存设置为：Min（节点内存/2, 32GB）; 3、设置最大文件句柄数； 4、线程池+队列大小根据业务需要做调整； 5、磁盘存储 raid 方式——存储有条件使用 RAID10，增加单节点性能以及避免单 节点存储故障 ...
分类：
系统相关 时间：
2020-06-26 16:49:44
阅读次数：
108
1、Elasticsearch 的选主是 ZenDiscovery 模块负责的，主要包含 Ping（节点之 间通过这个 RPC 来发现彼此）和 Unicast（单播模块包含一个主机列表以控制哪 些节点需要 ping 通）这两部分； 2、对所有可以成为 master 的节点（node.master: ...
分类：
其他好文 时间：
2020-06-26 14:45:50
阅读次数：
57
想了解大数据量的运维能力。 解答：索引数据的规划，应在前期做好规划，正所谓“设计先行，编码在后”， 这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户 检索或者其他业务受到影响。 如何调优，正如问题 1 所说，这里细化一下： 3.1 动态索引层面 基于模板+时间+rollover ...
分类：
其他好文 时间：
2020-06-26 14:21:51
阅读次数：
73
1、64 GB 内存的机器是非常理想的， 但是 32 GB 和 16 GB 机器也是很常见的。 少于 8 GB 会适得其反。 2、如果你要在更快的 CPUs 和更多的核心之间选择，选择更多的核心更好。多 个内核提供的额外并发远胜过稍微快一点点的时钟频率。 3、如果你负担得起 SSD，它将远远超出任何 ...
分类：
系统相关 时间：
2020-06-26 12:55:37
阅读次数：
71
1、搜索被执行成一个两阶段过程，我们称之为 Query Then Fetch； 2、在初始查询阶段时，查询会广播到索引中每一个分片拷贝（主分片或者副本分 片）。 每个分片在本地执行搜索并构建一个匹配文档的大小为 from + size 的 优先队列。 PS：在搜索的时候是会查询 Filesystem ...
分类：
其他好文 时间：
2020-06-26 12:47:39
阅读次数：
95
1、SEE：https://elasticsearch.cn/article/32 2、倒排词典的索引需要常驻内存，无法 GC，需要监控 data node 上 segment memory 增长趋势。 3、各类缓存，field cache, filter cache, indexing cache ...
分类：
其他好文 时间：
2020-06-26 10:56:28
阅读次数：
70
1、尽量少的字段 elasticsearch 的搜索引擎严重依赖于底层的 filesystem cache，你如果给 filesystem cache 更多的内存，尽量让内存可以容纳所有的 indx segment file 索引数据文件，那么你搜索的时候就基本都是走内存的，性能会非常高。 比如说， ...
分类：
其他好文 时间：
2020-06-26 01:41:54
阅读次数：
119
本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 从今天开始准备给大家带来全新的一系列文章，Elasticsearch系列 新系列肯定会有很多疑惑，先为大家答疑解惑，下面是今天要讲的问题 为什么写E ...
分类：
Web程序 时间：
2020-06-26 01:27:35
阅读次数：
122
