kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同 ...
分类：
其他好文 时间：
2020-06-04 20:10:00
阅读次数：
56
1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条消息发送到Topic sky里面 echo "hello" ...
分类：
系统相关 时间：
2020-06-03 23:08:22
阅读次数：
153
RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 一、RocketMQ专业术语 先讲专业术语的含义，后面会画流程图来更好的去理解它们。 Producer 消息生产者，位于用户的进程内 ...
分类：
其他好文 时间：
2020-06-02 11:20:15
阅读次数：
56
一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费 ...
分类：
其他好文 时间：
2020-06-02 11:14:14
阅读次数：
69
Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in ...
分类：
编程语言 时间：
2020-06-01 16:56:16
阅读次数：
74
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。 Ø 1：表示 produce ...
分类：
其他好文 时间：
2020-05-31 21:27:40
阅读次数：
48
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 21:48:33
阅读次数：
75
RocketMQ本身支持顺序消息，在使用上发送顺序消息和非顺序消息有所区别 发送顺序消息 SendResult sendResult = producer.send(msg, new MessageQueueSelector() { @Override public MessageQueue sel ...
分类：
其他好文 时间：
2020-05-30 20:10:53
阅读次数：
66
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 20:02:40
阅读次数：
60
RocketMQ的消息重试包含了producer发送消息的重试和consumer消息消费的重试。 producer发送消息重试 producer在发送消息的时候如果发送失败了，RocketMQ会自动重试。 private SendResult sendDefaultImpl( Message msg ...
分类：
其他好文 时间：
2020-05-30 19:45:44
阅读次数：
61
