前言用过MQ的同学,可能会遇到过消息堆积的问题。而我最近也踩上了这个坑,但是发现结果竟然是这么一个意料之外的原因而导致的。正文那一晚月和风高,我正准备踏上回家的路,突然收到告警短信轰炸!“MQ消息堆积告警[TOPIC:XXX]”肥壕心里“万只草泥马崩腾~”第一反应是:“怎么肥事?刚下班就来搞事情???”于是乎赶回公司赶紧打开电脑,登上RocketMQ后台查看(公司自己搭建的开源版RocketMQ)
分类:
其他好文 时间:
2020-08-17 17:54:23
阅读次数:
123
ActiveMQ介绍 MQ是消息中间件,是一种在分布式系统中应用程序借以传递消息的媒介,常用的有ActiveMQ,RabbitMQ,kafka。ActiveMQ是Apache下的开源项目,完全支持JMS1.1和J2EE1.4规范的JMS Provider实现。 特点: 1、支持多种语言编写客户端 2 ...
分类:
编程语言 时间:
2020-08-11 10:38:48
阅读次数:
71
一重复消息为什么会出现消息重复?消息重复的原因有两个:1.生产时消息重复,2.消费时消息重复。1.1生产时消息重复由于生产者发送消息给MQ,在MQ确认的时候出现了网络波动,生产者没有收到确认,实际上MQ已经接收到了消息。这时候生产者就会重新发送一遍这条消息。生产者中如果消息未被确认,或确认失败,我们可以使用定时任务+(redis/db)来进行消息重试。@Component@Slf4Jpublicc
分类:
其他好文 时间:
2020-08-06 20:53:42
阅读次数:
162
消息总线(Message Queue),后文称MQ,是一种跨进程的通信机制,用于上下游传递消息。 画外音:这两个进程,一般不在同一台服务器上。 在互联网架构中,MQ经常用做“上下游解耦”: 消息发送方只依赖MQ,不关注消费方是谁; 消息消费方也只依赖MQ,不关注发送方是谁; 画外音:发送方与消费方, ...
分类:
其他好文 时间:
2020-08-05 18:13:14
阅读次数:
73
RabbitMQ是什么? MQ(Message Queue,消息队列)消息中间件,一般以集群方式部署,主要提供消息的接受和发送,实现各微服务之间的消息同步。 原理介绍 rabbitmq是依据erlang的分布式特性(RabbitMQ底层是通过Erlang架构来实现的,所以rabbitmqctl会启动 ...
分类:
其他好文 时间:
2020-08-04 16:52:47
阅读次数:
96
mq的作用主要是用来解耦,削峰,异步, 增加MQ,系统的复杂性也会增加很多, 也会带来其他的问题,比如MQ挂了怎么办,怎么保持数据的幂等性 幂等性问题通俗点讲就是保证数据不被重复消费,同时数据也不能少, 也就是数据一致性问题。 下面是MQ丢失的3种情况 1,生产者发送消息至MQ的数据丢失 解决方法: ...
分类:
其他好文 时间:
2020-08-04 14:12:11
阅读次数:
86
阐述背景线程池在日常工作中用的还挺多,当需要异步,批量处理一些任务的时候我们会定义一个线程池来处理。在使用线程池的过程中有一些问题,下面简单介绍下之前遇到的一些问题。场景一:实现一些批量处理数据的功能,刚开始线程池的核心线程数设的比较小,然后想调整下,只能改完后重启应用。场景二:有一个任务处理的应用,会接收MQ的消息进行任务的处理,线程池的队列也允许缓存一定数量的任务。当任务处理的很慢的时候,想看
分类:
编程语言 时间:
2020-07-31 01:13:08
阅读次数:
97
Apache Kafka 架构和相关概念 Apache Kafka 是一款开源的分布式消息引擎系统 消息引擎的同类 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS仅仅是一组 API 协议 消息引擎的作用 削峰填谷 缓冲上下游瞬时突发流量,使其更平滑.特别是对 ...
分类:
Web程序 时间:
2020-07-28 00:19:27
阅读次数:
86
介绍 MQ 全称为 Message Queue,即消息队列,RabbitMQ 是由 Erlang 语言开发,基于 AMQP(Advanced Message Queue Protocol ,高级消息队列协议)协议实现的消息队列,它是一种应用程序之间的通信方法,消息队列在分布式系统开发中应用非常广泛, ...
分类:
其他好文 时间:
2020-07-25 23:22:13
阅读次数:
76
最开始,先描述一下交易场景: 商户发起请求到交易系统,等待交易系统的返回; 交易系统接收请求并按渠道要求组装报文发送到银行渠道; 渠道接收信息,通过mq的方式异步返回通知结果到交易系统; 交易系统通过监听mq队列,接收到渠道返回的交易结果后,把mq的异步消息转化为同步的消息返回给商户; 商户获取到交 ...
分类:
其他好文 时间:
2020-07-24 10:10:22
阅读次数:
125