关于mq的思考

标签：fse   采集   多个   消费者   关于   数据   spark   队列   内存   

解耦场景

1. spark 发告警，同过kafka来解耦

削峰场景

1. 日志采集生产环境几百台，当后续数量持续增加时，如果不加消息队列或者内存队列，可能把数据库打死

一个中间件：

1. 为什么用 -》解决什么问题
2. 有什么作用，优点和缺点
3. 是否横向对比

为什么用 -> 解决什么问题 -> 有什么作用 -> 优缺点

为什么用 -> 遇到问题/场景-> 比较 -> 优缺点

场景 = 问题

高可用 -> 数据冗余

消息可靠传输出现问题的环节

生产者

1. 确认机制

MQ

1. 副本
2. 持久化

消费者

1. offset、想mq确认

顺序一致性：

生产者

1. 消息按照key划分成多个队列，每个队列一个生产者，单线程发送，每确认成功一条后，再发送第二条

MQ：

1. 消息按照key划分成多个队列，key相同的消息进入一个队列

消费者

1. 消息按照key划分成多个队列，每个队列一个消费者，单线程消费，每确认成功一条后，再消费第二条

关于mq的思考

标签：fse   采集   多个   消费者   关于   数据   spark   队列   内存   

原文地址：https://www.cnblogs.com/zhouj-happy/p/10976955.html