1.特性 1）高吞吐量、低延迟 2）支持热扩展 3）支持高并发 2.组成 Producer 特指消息的生产者 Consumer 特指消息的消费者 Consumer Group 消费者组，可以并行消费Topic中partition的消息 Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 ...
分类：
其他好文 时间：
2019-10-02 18:52:29
阅读次数：
104
本文只跟踪消费者拉取消息的流程。对于 java 客户端， kafka 的生产者和消费者复用同一个网络 io 类 NetworkClient。 入口在 KafkaConsumer#pollOnce 中，抽出主要步骤： Fetcher#sendFetches ConsumerNetworkClient# ...
分类：
其他好文 时间：
2019-10-02 17:09:05
阅读次数：
565
Redis发布消息模式 生产消费模型 Redis发布消息通常有两种模式： 1：队列模式（queuing） 2：发布-订阅模式(publish-subscribe) 任务队列：顾名思义，就是“传递消息的队列”。与任务队列进行交互的实体有两类，一类是生产者（producer），另一类则是消费者（cons ...
分类：
其他好文 时间：
2019-10-02 14:33:06
阅读次数：
81
KafkaProducer 创建一个 KafkaThread 来运行 Sender.run 方法。 1. 发送消息的入口在 KafkaProducer#doSend 中，但其实是把消息加入到 batches 中： kafka 生产者是按 batch 发送消息，RecordAccumulator 类有 ...
分类：
其他好文 时间：
2019-10-01 13:45:37
阅读次数：
73
1.消息中间件 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见的角色大致也就有Producer（生产者）、Consumer（消费者）。 2.常见的中间件产品 ...
分类：
其他好文 时间：
2019-09-30 21:40:55
阅读次数：
186
第一种方式： 1.修改server.properties文件 delete.topic.enable=true auto.create.topics.enable=false 2.确保所有的生产者，消费者都已经停掉 3.执行bin/kafka-topics.sh --delete --zookeep ...
分类：
其他好文 时间：
2019-09-30 09:59:54
阅读次数：
224
Consul集群加入网关服务 架构示意图 外部的应用或网站通过外部网关服务消费各种服务，内部的生产者本身也可能是消费者，内部消费行为通过内部网关服务消费。 一个内部网关和一个外部网关以及一个Consul Client部署在一台服务器上，这样的网关服务器至少2组，外部网关前面还会有负载均衡设备，内部网 ...
分类：
编程语言 时间：
2019-09-30 09:19:27
阅读次数：
131
RabbitMQ-集群 回到正题，为什么搭建rabbitmq集群？rabbitmq集群有那些模式？如何搭建Rabbitmq集群？rabbitmq镜像高可用策略有那些？ 设计集群的目的 允许消费者和生产者在 RabbitMQ 节点崩溃的情况下继续运行。 通过增加更多的节点来扩展消息通信的吞吐量。 ra ...
分类：
其他好文 时间：
2019-09-28 11:14:28
阅读次数：
108
SparkStreaming+Kafka ?kafka是什么，有哪些特点 ?SparkStreaming+Kafka有什么好处 –解耦 –缓冲 消息列队的特点 生产者消费者模式 ?可靠性保证 –自己不丢数据 –消费者不丢数据：“至少一次，严格一次” broker n. 经纪人，掮客 vt. 以中间人... ...
分类：
其他好文 时间：
2019-09-28 00:47:33
阅读次数：
116
使用python操作kafka目前比较常用的库是kafka python库 安装kafka python 生产者 producer_test.py 执行此程序，它没有输出！这个是正常的 消费者 执行此程序，此时会hold住，因为它在等待生产者发送消息！ 再次执行生产者，此时会输出： ...
分类：
编程语言 时间：
2019-09-24 17:57:52
阅读次数：
106
