今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡： 今天检查 kafka manager 发现了一个 __consumer_offsets 主题（消费者分区位移保存主题）的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 ...
分类：
其他好文 时间：
2020-01-09 18:39:38
阅读次数：
83
kafka是一个高吞吐量,低延迟分布式的消息队列系统.kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒 一. kafka模型 kafka提供了一个生产者,缓冲区,消费者的模型 1.1 模型分析 broker:kafka集群有多个broker服务器组成,用于存储数据(消息) topic:不同 ...
分类：
其他好文 时间：
2019-12-30 14:34:06
阅读次数：
78
前言 使用Kafka也有一段时间了, 主要还是作为生产者推送数据到其它业务方, 作为生产者编写代码并不多, 因为客户端内部做了太多的处理, 同时也不太容易达到性能瓶颈, 大多情况也只是改变一下发送消息的路由策略. 即便如此面对众多参数如果不理解一条消息从发送到Kafka集群中间经历什么, 那么设置这 ...
分类：
其他好文 时间：
2019-12-19 09:42:19
阅读次数：
99
一.初始化环境 1.先安装好jdk和zookeeper 2.并启动zookeeper集群 3.准备三台服务器搭建kafka集群环境 二.下载kafka安装包 http://archive.apache.org/dist/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz 三 ...
分类：
其他好文 时间：
2019-12-15 18:46:08
阅读次数：
104
[toc] 集群启动 启动zookeeper集群 cd /usr/app/zookeeper/bin ./zkServer.sh start 依次启动。 启动kafka集群 cd /usr/app/kafka bin/kafka server satrt.sh daemon config/serve ...
分类：
其他好文 时间：
2019-12-07 16:34:29
阅读次数：
184
因为在具体开发中某些环节考虑使用kafka却担心有消息丢失的风险，本周结合项目对kafka的消息可靠性做了一下调研和总结： 首先明确一下丢消息的定义。kafka集群中的部分或全部broker挂了，导致consumer没有及时收到消息，这不属于丢消息。broker挂了，只要消息全部持久化到了硬盘上，重 ...
分类：
其他好文 时间：
2019-12-03 14:18:21
阅读次数：
127
[TOC] 第一节 Kafka 集群 承前 如果你是开发, 对搭建kafka集群没什么兴趣, 可以跳过这一章, 直接看明天的内容. 如果你觉得多了解一点没有什么坏处的话, 请继续看下去. 提醒一下, 本章图多 Kafka 集群搭建 概述 kafka集群的搭建还是比较繁琐的, 虽然只是下载文件,修改配 ...
分类：
其他好文 时间：
2019-11-28 19:24:22
阅读次数：
92
上一篇展示了kafka虚拟机环境单机版部署,这一节主要讲kafka集群环境部署，kafka基础概念介绍与强化1）Producer：消息生产者，就是向kafkabroker发消息的客户端；2）Consumer：消息消费者，向kafkabroker取消息的客户端；3）Topic：可以理解为一个队列；4）ConsumerGroup（CG）：这是kafka用来实现一个topic消息的广播（发给所有的con
分类：
其他好文 时间：
2019-11-27 13:48:09
阅读次数：
77
前言关于kafka的工作机制，已经在上篇博文：Kafka原理及单机部署中详细写出来，这里只是将kafka的一个群集部署写了出来。博文大纲：一、环境准备二、部署zookeeper服务三、部署kafka集群一、环境准备部署kafka群集所需的安装包，可以从我的网盘链接中下载。二、部署zookeeper服务1、主机kafka01配置如下#部署zookeeper[root@kafka01src]#tarz
分类：
其他好文 时间：
2019-11-26 09:32:32
阅读次数：
78
