今天是继续对之前 kafka 集群遗留问题的查漏补缺。 扩容后对副本进行再平衡： 今天检查 kafka manager 发现了一个 __consumer_offsets 主题（消费者分区位移保存主题）的 leader 副本只被部署在了已有三节点中的两个节点上。并没有将三个 broker 上都平均分布 ...
分类：
其他好文 时间：
2020-01-09 18:39:38
阅读次数：
83
温馨提示：本文基于 Kafka 2.2.1 版本。 上文 "《源码分析 Kafka 消息发送流程》" 已经详细介绍了 KafkaProducer send 方法的流程，该方法只是将消息追加到 KafKaProducer 的缓存中，并未真正的向 broker 发送消息，本文将来探讨 Kafka 的 S ...
分类：
编程语言 时间：
2020-01-08 21:24:40
阅读次数：
215
1、创建集群 http://kafka.apache.org/documentation/#quickstart 有一句我觉得特别重要： For Kafka, a single broker is just a cluster of size one. 1.1、命令行操作 #解压文件 tar -zx ...
分类：
编程语言 时间：
2020-01-08 12:49:43
阅读次数：
100
Celery 1.Celery是什么 Celery 一个懂得 异步任务 , 定时任务 , 周期任务 的芹菜 Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务 官方推荐 redis rabbitMQ / ...
分类：
其他好文 时间：
2020-01-04 00:54:29
阅读次数：
65
1.原理图： 2.设计实现思路： 1.生产者（发送方）投递事务消息到Broker中，设置该消息为半消息 不可以被消费； 2.开始执行我们的本地事务，将本地事务执行的结果（回滚或者提交）发送给Broker； 3.Broker获取回滚或者提交，如果是回滚的情况则删除该消息、如果是提交的话，该消息就可以被 ...
分类：
其他好文 时间：
2020-01-03 10:39:00
阅读次数：
486
kafka是一个高吞吐量,低延迟分布式的消息队列系统.kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒 一. kafka模型 kafka提供了一个生产者,缓冲区,消费者的模型 1.1 模型分析 broker:kafka集群有多个broker服务器组成,用于存储数据(消息) topic:不同 ...
分类：
其他好文 时间：
2019-12-30 14:34:06
阅读次数：
78
使用RocketMQ发送消息抛出异常，异常如下： 原因： Broker 禁止自动创建Topic，且用户没有通过手动创建此Topic，或者broker 和 Nameserver网络不同； 解决方案： 1. 修改broker.properties配置，自动创建topic，添加如下： autoCreate ...
分类：
Web程序 时间：
2019-12-29 16:41:22
阅读次数：
632
了解详细内容参见文档：https://docs.emqx.io/broker/v3/cn/getstarted.html 本文介绍一种简单的安装启动 这里提供一个下载地址(也可以到官网下载)：https://pan.baidu.com/s/1oTGEHceQ-nvkKCPBf5O_GQ 将这个zip ...
分类：
其他好文 时间：
2019-12-27 16:47:47
阅读次数：
244
使用flink FlinkKafkaProducer 往kafka写入数据的时候要求使用EXACTLY_ONCE语义 本以为本以为按照官网写一个就完事，但是却报错了 代码 遇到问题 当 指定为 时，执行没有问题。 当 指定为 时，执行报下面的错误： 错误大意是： 事务超时大于broker允许的最大值 ...
分类：
其他好文 时间：
2019-12-24 18:23:29
阅读次数：
962
# 架构设计 1 技术架构 RocketMQ架构上主要分为四部分，如上图所示: Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。 Consumer：消息消费的角色，支持分布式 ...
分类：
其他好文 时间：
2019-12-24 14:04:48
阅读次数：
75
