一次机房停电引发的思考今天早上到公司的时候，接到开发反馈DEV环境所有接口都卡，耗时都在一分钟以上，严重影响开发正常工作，然后通过网关的日志定位到原因是因为kafka集群不可用（总共3个broker，前一天晚上机房停电导致leader节点挂了），导致网关的反爬过滤器里面发送kafka消息的代码kafkaTemplat.send阻塞了60s，当时在想这个send方法不是异步的吗，为什么会阻塞60s？
分类：
其他好文 时间：
2020-07-31 01:13:59
阅读次数：
93
一、下载zookeeper,kafka,java 1 网盘下载 版本号不能选:zookeeper-3.6.1,kafka_2.13-2.5.0,jdk-8u241 https://pan.baidu.com/share/init?surl=8cYaxW_8gDtM4wR32nH1Sg 提取码：g9g ...
分类：
其他好文 时间：
2020-07-11 13:00:59
阅读次数：
74
Kafka监控安装Kafka集群监控方案选择：Kafka只能依靠kafka-run-class.sh等命令进行管理KafkaManager（CMAK）是目前比较常用的监控工具，它有如下功能：管理多个集群轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配（基于生成的分配）使用可选主题配置创建主题（0.8.1.1具有与
分类：
其他好文 时间：
2020-07-10 09:39:18
阅读次数：
259
基础概念 正所谓工欲善其事，必先利其器。我们先来了解一下kafka的基础构成。 producer 消息生产者，发布消息到kafka集群的终端或服务。 broker kafaka集群中包含的服务器 topic 每条发布到kafka集群的消息属于的类别，即kafka是面向topic的。 partitio ...
分类：
其他好文 时间：
2020-07-01 14:24:04
阅读次数：
73
安装 pip3 install setuptools pip3 install pykafka pip3 install kafka-python 单台kafka import sys from kafka import KafkaConsumer from kafka.structs import ...
分类：
编程语言 时间：
2020-06-24 21:46:18
阅读次数：
80
本篇文章的目的是帮助Kafka初学者快速搭建一个Kafka集群，以及怎么在SpringBoot项目中使用Kafka。 kafka集群环境包地址：https://pan.baidu.com/s/1Mar6ADov94lUNMCR6eyFEA 提取码：x9yn 一、Kafka集群搭建 1、准备环境 （1 ...
分类：
编程语言 时间：
2020-06-18 13:04:08
阅读次数：
56
Zookeeper+Kafka集群安装配置 （Linux系统下安装步骤） 依赖环境搭建 安装 Java1.8 （三台机器统一） 1. 把Java的源文件包java_1.8.0_171放入 /opt目录中，编辑>vi /etc/profile 追加以下内容到文件中，保存:wq后退出 JAVA_HOME ...
分类：
系统相关 时间：
2020-06-12 20:20:02
阅读次数：
89
本文源码：GitHub·点这里||GitEE·点这里一、Kafka集群环境1、环境版本版本：kafka2.11，zookeeper3.4注意：这里zookeeper3.4也是基于集群模式部署。2、解压重命名tar-zxvfkafka_2.11-0.11.0.0.tgzmvkafka_2.11-0.11.0.0kafka2.11创建日志目录[root@en-masterkafka2.11]#mkdi
分类：
其他好文 时间：
2020-06-11 12:06:13
阅读次数：
51
Kafka快速入门（七）——Kafka监控一、Kafka监控指标1、Kafka主机监控指标主机监控是监控Kafka集群Broker所在的节点机器的性能。常见的主机监控指标包括：（1）机器负载（Load）（2）CPU使用率（3）内存使用率，包括空闲内存（FreeMemory）和已使用内存（UsedMemory）（4）磁盘I/O使用率，包括读使用率和写使用率网络（5）I/O使用率（6）TCP连接数（7
分类：
其他好文 时间：
2020-05-26 10:38:25
阅读次数：
75
