一、启动rocketmq参考https://blog.csdn.net/lw5885799/article/details/886460511,启动name server进入bin目录下nohup mqnamesrv -n 你的公网IP:9876 &2,修改配置文件在conf/broker.conf ...
分类:
其他好文 时间:
2020-06-02 09:27:14
阅读次数:
66
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0:表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大(因为当 server 宕机时,数据将会丢失)。 Ø 1:表示 produce ...
分类:
其他好文 时间:
2020-05-31 21:27:40
阅读次数:
48
前言 要了解生产者ISR,需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时,可以指定retries参数,如果向broker发送消息时抛出异常,并且异常是可重试异常RetriableException,那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 (1)没有到deli ...
分类:
其他好文 时间:
2020-05-31 18:19:32
阅读次数:
105
1.Confirm消息确认机制 消息的确认:是指生产者投递消息后,如果Broker收到消息,则会给生产者一个应答。 生产者进行接收应答,用来确定这条消息是否正常的发送到Broker,这种方式也是消息的可靠性投递的核心保障。 生产端 public static void main(String[] a ...
分类:
其他好文 时间:
2020-05-29 13:36:50
阅读次数:
47
Kafka最初考虑的问题是,customer应该从brokes拉取消息还是brokers将消息推送到consumer,也就是pull还push。在这方面,Kafka遵循了一种大部分消息系统共同的传统的设计:producer将消息推送到broker,consumer从broker拉取消息。 一些消息系 ...
分类:
其他好文 时间:
2020-05-27 09:22:10
阅读次数:
405
Kafa consumer消费消息时,向broker发出fetch请求去消费特定分区的消息,consumer指定消息在日志中的偏移量(offset),就可以消费从这个位置开始的消息,customer拥有了offset的控制权,可以向后回滚去重新消费之前的消息,这是很有意义的 ...
分类:
其他好文 时间:
2020-05-26 21:58:05
阅读次数:
373
Kafka快速入门(七)——Kafka监控一、Kafka监控指标1、Kafka主机监控指标主机监控是监控Kafka集群Broker所在的节点机器的性能。常见的主机监控指标包括:(1)机器负载(Load)(2)CPU使用率(3)内存使用率,包括空闲内存(FreeMemory)和已使用内存(UsedMemory)(4)磁盘I/O使用率,包括读使用率和写使用率网络(5)I/O使用率(6)TCP连接数(7
分类:
其他好文 时间:
2020-05-26 10:38:25
阅读次数:
75
应用场景由于朋友所在公司对安全性要求较高,zabbix所在的网络环境不能上外网,因此不能通过zabbix将告警直接发送至一些即时通讯工具,这就需要将报警消息发送至一些中间件,并通过中间件转发出去,这里选择使用了kafka,当然kafka中不只有报警信息,也有其他需要发送的数据,这里就不过多透漏基础环境配置kafka集群已部署好,这里不介绍安装细节vim/etc/hosts192.168.179.1
分类:
其他好文 时间:
2020-05-26 10:32:24
阅读次数:
118
unclean.leader.election.enable 为true的话,意味着非ISR集合的broker 也可以参与选举,这样有可能就会丢数据,spark streaming在消费过程中拿到的 end offset 会突然变小,导致 spark streaming job挂掉。如果unclea ...
分类:
其他好文 时间:
2020-05-25 14:01:02
阅读次数:
89
kafka在Broker端提供了一个配置参数:unclean.leader.election,这个参数有两个值:true(默认):允许不同步副本成为leader,由于不同步副本的消息较为滞后,此时成为leader,可能会出现消息不一致的情况。false:不允许不同步副本成为leader,此时如果发生 ...
分类:
其他好文 时间:
2020-05-24 18:08:38
阅读次数:
74