1.生产者命令： ./kafka-console-producer.sh --topic mytopic --broker-list node06:9092,node07:9092,node08:9092 2.消费者命令： ./kafka-console-consumer.sh --bootstra ...
分类：
其他好文 时间：
2019-06-29 00:26:50
阅读次数：
79
上篇文章我们简单的介绍了stream的使用，发现使用还是蛮方便的，但是在上个案例中，如果有多个消息接收者，那么消息生产者发送的消息会被多个消费者都接收到，这种情况在某些实际场景下是有很大问题的，比如在如下场景中，订单系统我们做集群部署，都会从RabbitMQ中获取订单信息，那 ...
分类：
编程语言 时间：
2019-06-28 21:09:39
阅读次数：
127
1. Kafka 总体架构 基于 Kafka-ZooKeeper 的分布式消息队列系统总体架构如下： 如上图所示，一个典型的 Kafka 体系架构包括若干 Producer（消息生产者），若干 broker（作为 Kafka 节点的服务器），若干 Consumer（Group），以及一个 ZooKe ...
分类：
其他好文 时间：
2019-06-28 14:49:18
阅读次数：
106
业务场景之类的请看另一篇生产者的实现； 集合到Spring里是： MessageListener里是用来实现消费这个消息后的具体业务逻辑的； ...
分类：
其他好文 时间：
2019-06-28 11:46:09
阅读次数：
855
源码可于github下载： "https://github.com/gkimeeq/PythonLearning" 。 ...
分类：
其他好文 时间：
2019-06-28 11:43:01
阅读次数：
78
Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。我们现在就这个编译一下吧。
分类：
其他好文 时间：
2019-06-27 16:10:32
阅读次数：
154
1、创建主题 kafka提供了两种方式创建主题 1）：若代理设置了 auto.create.topics.enable=true，该配置默认值是true，当生产者向一个还未创建的主题发送一个消息，会自动创建一个拥有 ${num.partitions} 个分区和 ${default.replicati ...
分类：
其他好文 时间：
2019-06-26 20:45:54
阅读次数：
152
在学习Celery之前，我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为 ...
分类：
其他好文 时间：
2019-06-26 13:31:49
阅读次数：
85
都说Kafka的吞吐量很大，但是我一直不直到Kafka为何有如此大的吞吐量。最近在看Kafka权威指南，陆陆续续得到了如下结论： 1、分区：Kafka支持分区，这样就支持多个生产者和多个消费者同时请求，每个分区在不同的物理节点上，提高了整个broker集群的吞吐； 2、不支持针对每一条记录做持久化（ ...
分类：
其他好文 时间：
2019-06-26 01:09:59
阅读次数：
113
概念、生产者消费者模式 1)当队列满的时候，插入元素的线程被阻塞，直达队列不满。 2)队列为空的时候，获取元素的线程被阻塞，直到队列不空。 生产者和消费者模式 生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者 ...
分类：
其他好文 时间：
2019-06-26 00:38:25
阅读次数：
121
