一、broker消息存储 本节揭露broker上消息存储的真实目录结构+存储方式。 1.1 目录、文件结构 有3个比较重要的文件: commitLog消息日志:消息主体以及元数据的存储主体,存储Producer端写入的消息主体内容, consumequeue逻辑消费队列:存储了commitLog的起 ...
分类:
其他好文 时间:
2021-07-21 17:31:03
阅读次数:
0
生产者-消费者ArrayBlockingQueue是一个实现了BlockingQueue接口的类,其可以很方便的实现生产者-消费者模式。用法如下: class Producer implements Runnable { private final BlockingQueue queue; Prod ...
分类:
其他好文 时间:
2021-06-19 18:48:33
阅读次数:
0
1.org.apache.rocketmq.client.exception.MQClientException: No route info of this topic, MyTopic 报错信信息如下: Exception in thread "main" org.apache.rocketmq ...
分类:
其他好文 时间:
2021-06-11 18:46:49
阅读次数:
0
一、文件存储 kafka 使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据,为了避免日志文件过大,一个分片 并不是直接对应在一个磁盘上的日志文件,而是对应磁盘上的一个目录,这个目录的命名规则是<top ...
分类:
其他好文 时间:
2021-06-11 17:32:01
阅读次数:
0
Kaptcha导入jar包 编写Kaptcha配置类,在Config包下(配置图片长宽、字的个数、范围、颜色、干扰的点、线) @Configuration public class KaptchaConfig { @Bean public Producer kaptchaProducer (){ / ...
分类:
编程语言 时间:
2021-06-02 18:32:34
阅读次数:
0
Kafka Exactly Once语义 精准一次: 将服务器的ACK级别设置为-1,可以保证Producer到Server之间不会丢失数据,即At Least Once语义。相对的,将服务器ACK级别设置为0,可以保证生产者每条消息只会被发送一次,即At Most Once语义。 At Least ...
分类:
其他好文 时间:
2021-06-02 12:21:04
阅读次数:
0
python 实现 kakfa 的 生产消费模式 和 发布订阅模式(已安装好 kafka 的情况下) 生产者 producer_demo.py from kafka import KafkaProducer, KafkaConsumer from kafka.errors import kafka_ ...
分类:
编程语言 时间:
2021-05-24 16:44:34
阅读次数:
0
RabbitMQ 特点 RabbitMQ 相较于其他消息队列,有一系列防止消息丢失的措施,拥有强悍的高可用性能,它的吞吐量可能没有其他消息队列大,但是其消息的保障性出类拔萃,被广泛用于金融类业务。 AMQP 协议 AMQP: Advanced Message Queuing Protocol 高级消 ...
分类:
其他好文 时间:
2021-05-24 14:47:13
阅读次数:
0
前言 本地Docker部署Pulsar消息代理实现消息发布和消息订阅 介绍 相关概念,后面有时间再花时间整理下。 实践步骤 1.使用dokcer本地部署pulsar docker run -it \ -p 6650:6650 \ -p 8080:8080 \ --mount source=pulsa ...
分类:
其他好文 时间:
2021-05-24 09:51:07
阅读次数:
0
在新版的 Kafka Producer 中,设计了一个消息缓冲池,在创建 Producer 时会默认创建一个大小为 32M 的缓冲池,也可以通过 buffer.memory 参数指定缓冲池的大小,同时缓冲池被切分成多个内存块,内存块的大小就是我们创建 Producer 时传的 batch.size ...
分类:
其他好文 时间:
2021-05-24 05:22:26
阅读次数:
0