样例: apiVersion: v1 kind: ConfigMap metadata: name: appjobs-filebeat-config namespace: dev data: filebeat.yml: | logging.level: warning filebeat.inputs ...
分类:
其他好文 时间:
2020-05-01 00:47:34
阅读次数:
73
1、主从架构的核心原理 当启动一个slave node的时候,它会发送一个PSYNC命令给master node 如果这是slave node重新连接master node,那么master node仅仅会复制给slave部分缺少的数据; 否则如果是slave node第一次连接master nod ...
分类:
其他好文 时间:
2020-04-17 00:09:42
阅读次数:
71
Kafka基本命令 #启动server ./bin/kafka-server-start.sh config/server.properties #创建topic(主题)test ./bin/kafka-topics.sh --create --zookeeper localhost:2181 -- ...
分类:
其他好文 时间:
2020-04-15 21:33:48
阅读次数:
91
一、ReadPreference读偏好 在副本集Replica Set中才涉及到ReadPreference的设置,默认情况下,读写都是分发都Primary节点执行,但是对于写少读多的情况,我们希望进行读写分离来分摊压力,所以希望使用Secondary节点来进行读取,Primary只承担写的责任(实 ...
分类:
数据库 时间:
2020-04-14 12:13:51
阅读次数:
106
分布式一致性回顾 在分布式系统中,为了保证数据的高可用,通常,我们会将数据保留多个副本(replica),这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等语义,我们需要保证这些放置在不同物理机器上的副本是一致的。 为了解决这种分布式一致性问题,前人在性能和数据一致性的反反复复 ...
分类:
其他好文 时间:
2020-04-09 16:51:03
阅读次数:
76
水平扩容的过程 1、扩容后primary shard和replica shard会自动的负载均衡 2、扩容后每个节点的shard会减少,那么分配给每个shard的cpu,内存、io资源会更多,性能提高 3、扩容的极限,如果有6个shard,扩容的极限就是6个节点,每个节点上一个shard,如果想超出 ...
分类:
其他好文 时间:
2020-04-06 11:47:48
阅读次数:
71
1、分片和副本机制 1、index包含多个shard 2、每个shard都是一个最小工作单元,承担部分数据;每个shard都是一个lucene示例,有完整的建立索引和处理请求的能力 3、增减节点时,shard会自动在nodes中负载均衡 4、primary shard和replica shard,每 ...
分类:
其他好文 时间:
2020-04-06 10:03:16
阅读次数:
83
两个节点环境下创建索引分析 将3个primary shard分配到一个node上去,另外3个replica shard分配到另外一个节点上 primary shard 和 replica shard保持同步 primary shard 和 replica shard都可以处理客户端的读请求 prim ...
分类:
其他好文 时间:
2020-04-06 09:15:00
阅读次数:
76
1、集群状态查看通过这两个界面可以看出1.1如果heap红色,会导致界面查询比较慢.通常是打开了比较多的索引,可以在企业版的日志策略中打开自动关闭索引的功能,通常是打开7天的索引,可以根据具体内存情况多打开几天,比如10天或者15天,不能太多.1.2.如果cpu和load红色,会导致界面查询慢,写入也慢,对采集器的影响尤其明显,采集器的日志中会出现超时或者bulkreject错误.可能原因如下:a
分类:
其他好文 时间:
2020-03-30 17:57:37
阅读次数:
89