Kafka的结构与RabbitMQ类似，消息生产者向Kafka服务器发送消息，Kafka接收消息后，再投递给消费者。
生产者的消费会被发送到Topic中，Topic中保存着各类数据，每一条数据都使用键、值进行保存。
每一个Topic中都包含一个或多个物理分区（Partition），分区维护着消息... ...
分类：
编程语言 时间：
2019-11-22 23:28:34
阅读次数：
128
一个生产者和一个消费者 public class ConditionTest { private static ReentrantLock lock = new ReentrantLock(); private static Condition condition = lock.newConditi ...
分类：
其他好文 时间：
2019-11-17 23:59:56
阅读次数：
112
import timeimport randomfrom multiprocessing import Queue# 生产者def producer(q, num): for i in range(1, num + 1): food = 'Spam-%d' % i # time.sleep(rand ...
分类：
编程语言 时间：
2019-11-01 14:37:21
阅读次数：
107
一、比较低级的办法是用wait和notify来解决这个问题。 消费者生产者问题： 这个问题是一个多线程同步问题的经典案例，生产者负责生产对象，消费者负责将生成者产生的对象取出，两者不断重复此过程。这过程需要注意几个问题： 不论生产者和消费者有几个，必须保证： 1.生产者每次产出的对象必须不一样，产生 ...
分类：
编程语言 时间：
2019-10-27 11:09:14
阅读次数：
90
[toc] 网络编程 开发架构 B/S: browser/server C/S: client/server OSI七层模型 应用层 表示层 会话层 传输层: 建立端口到端口的通信, TCP/UDP协议 网络层: 引入IP地址来进行跨局域网通信, 因特网协议 数据链路层: 规定分组方式, 以太网协议 ...
分类：
编程语言 时间：
2019-10-25 20:20:48
阅读次数：
106
一、什么是生产者消费者模型 生产者消费者模型就是通过一个容器解决它们之间的强耦合问题，生产者与消费者之间依靠阻塞队列进行通讯，生产者与消费者之间不直接通讯，这样平衡了二者之间的处理能力，这里使用了进程、线程以及生成器实现了生产者消费者模型。 在进程中分别开启了生产者和消费者的进程，它们之间的通讯依赖 ...
分类：
其他好文 时间：
2019-10-16 21:34:45
阅读次数：
83
简单图示 把数据放到消息队列叫做生产者 从消息队列中获取数据叫做消费者 消息队列 概念：生产者和消费者之间的一个中间件。本质是一个队列。 消息队列能做的事情（为什么） 解耦（各个的部分，互不影响） 异步处理（每个部分异步处理，缩短时间） 削峰/限流（降低服务器的压力） 消息队列要注意的问题 数据保存 ...
分类：
其他好文 时间：
2019-10-06 09:44:58
阅读次数：
79
我们将生产者、消费者、库存、和调用线程的主函数分别写进四个类中，通过抢夺非线程安全的数据集合来直观的表达在进行生产消费者模型的过程中可能出现的问题与解决办法。 我们假设有一个生产者，两个消费者来共同抢夺库存里的资源，而生产者和消费者都以线程来实现。 库存对象只有是唯一的才会出现抢夺一个资源的可能，所 ...
分类：
编程语言 时间：
2019-10-03 23:49:35
阅读次数：
130
本文只跟踪消费者拉取消息的流程。对于 java 客户端， kafka 的生产者和消费者复用同一个网络 io 类 NetworkClient。 入口在 KafkaConsumer#pollOnce 中，抽出主要步骤： Fetcher#sendFetches ConsumerNetworkClient# ...
分类：
其他好文 时间：
2019-10-02 17:09:05
阅读次数：
565
