一、broker消息存储 本节揭露broker上消息存储的真实目录结构+存储方式。 1.1 目录、文件结构 有3个比较重要的文件： commitLog消息日志：消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容, consumequeue逻辑消费队列：存储了commitLog的起 ...
分类：
其他好文 时间：
2021-07-21 17:31:03
阅读次数：
0
一 概述 NameServer的主要作用是， 1 路由功能。生产者查询NameServer，根据Topic选择它要发送的MessageQueue。 2 通过和每个broker发送心跳，更新注册信息，剔除失效broker 二 主要成员变量 public class RouteInfoManager { ...
分类：
其他好文 时间：
2021-06-28 18:43:42
阅读次数：
0
官网下载Kafka 安装包，解压安装： http://kafka.apache.org/downloads.html 编辑配置文件 #将kafka文件夹复制到另外两台节点下 注意修改每个节点对应的server.properties文件的broker.id和listenrs 启动kafka # 登录z ...
分类：
系统相关 时间：
2021-06-21 20:02:59
阅读次数：
0
1. Cannot allocate memory RocketMQ默认安装需要使用8G的内存，所以如果内存不够会导致启动失败，这时需要修改配置文件bin/runbroker.sh，修改xms、xmx和xmn。参考https://www.cnblogs.com/freeweb/p/7817968.h ...
分类：
其他好文 时间：
2021-06-08 23:24:24
阅读次数：
0
一、rabbitmq出现消息重复的场景 A：消息消费成功，事务已经提交，ack时，机器宕机，导致没有ack成功， Broker的消息重新由unack变为ready,并发送给其他消费者 B：消息消费失败，由于重试机制，自动又将消息发送出去 C、成功消费，ack时宕机，消息由unack变为ready,B ...
分类：
其他好文 时间：
2021-06-02 17:52:18
阅读次数：
0
比如说这个消息队列系统，我们来从以下几个角度来考虑一下 （1）首先这个mq得支持可伸缩性吧，就是需要的时候快速扩容，就可以增加吞吐量和容量，那怎么搞？设计个分布式的系统呗，参照一下kafka的设计理念，broker → topic → partition，每个partition放一个机器，就存一部分 ...
分类：
其他好文 时间：
2021-04-13 12:22:01
阅读次数：
0
一、ActiveMQ的安装 1、下载ActiveMQ， 这里使用的版本为5.5.1 https://cwiki.apache.org/confluence/display/ACTIVEMQ/ActiveMQ+5.5.1+Release 2、启动ActiveMQ cd D:\software\mq\a ...
分类：
其他好文 时间：
2021-04-12 12:37:34
阅读次数：
0
1、rocketmq集群特点: NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通 ...
分类：
其他好文 时间：
2021-04-12 12:37:16
阅读次数：
0
一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
zkCli.sh ls / 记住zk的根目录下内容 ls或者get /kafka/cluster/id 查看zk下的kafuka controller ls /kafka/brokers/ kafka目录下 config查看配置：server.properties broker.id=0 liste ...
分类：
其他好文 时间：
2021-04-08 13:49:09
阅读次数：
0
