现象最近收到很多RocketMQ使用者反馈在消息发送过程中偶尔会出现如下4个错误信息之一：[REJECTREQUEST]systembusy,startflowcontrolforawhiletoomanyrequestsandsystemthreadpoolbusy,RejectedExecutionException[PC_SYNCHRONIZED]brokerbusy,startflowco
分类：
其他好文 时间：
2020-12-08 12:21:48
阅读次数：
4
经常有小伙伴后台私信问我，自己每天大量的时间花在微信上，平常很多重复的操作都需要自己去亲力亲为，效率低的同时，人也累的半死，问我能否能做成自动化。答案是可以的，任何人为操作都能做成自动化，自动化无所不能。今天就微信自动化这一应用场景聊聊几种实现方案。1、wxpywxpy基于itchat，使用了Web端微信的通讯协议，能够实现微信消息管理、好友管理及一些数据统计功能。但是，由于微信对网页版微信的限制
分类：
微信 时间：
2020-12-08 12:12:23
阅读次数：
13
一日一技：大幅度提高requests的访问速度摄影：产品经理与产品经理环游世界我做了一个垃圾信息过滤的HTTP接口。现在有一千万条消息需要经过这个接口进行垃圾检测。一开始我的代码是这样的：importrequestsmessages=[‘第一条‘,‘第二条‘,‘第三条‘]formessageinmessages:resp=requests.post(url,json={‘msg‘:message}
分类：
其他好文 时间：
2020-12-08 12:06:49
阅读次数：
3
Kafka里面的信息是如何被消费的？摄影：产品经理跟着产品经理去苏州吃面作为一个爬虫工程师，Kafka对你而言就是一个消息队列，你只需要掌握如何向里面写入数据，以及如何读取数据就可以了。请谨记：使用Kafka很容易，但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护，不要以为你能轻易胜任这个工作。”本文，以及接下来的几篇针对Kafka的文章，我们面向的对象都是爬虫工程师或
分类：
其他好文 时间：
2020-12-08 12:03:19
阅读次数：
3
温馨提示：本文基于Kafka2.2.1版本。如果觉得源码阅读比较枯燥，本文的中间有Sender线程的工作流程图。上文《源码分析Kafka消息发送流程》已经详细介绍了KafkaProducersend方法的流程，该方法只是将消息追加到KafKaProducer的缓存中，并未真正的向broker发送消息，本文将来探讨Kafka的Sender线程。在KafkaProducer中会启动一个单独的线程，其名
分类：
编程语言 时间：
2020-12-08 12:00:53
阅读次数：
6
温馨提示：本文基于Kafka2.2.1版本。本文主要是以源码的手段一步一步探究消息发送流程，如果对源码不感兴趣，可以直接跳到文末查看消息发送流程图与消息发送本地缓存存储结构图。从上文初识KafkaProducer生产者，可以通过KafkaProducer的send方法发送消息，send方法的声明如下：Future<RecordMetadata>send(ProducerRecord&l
分类：
其他好文 时间：
2020-12-08 11:59:45
阅读次数：
3
温馨提示：整个KafkaClient专栏基于kafka-2.3.0版本。1、KafkaProducer概述根据KafkaProducer类上的注释上来看KafkaProducer具有如下特征：KafkaProducer是线程安全的，可以被多个线程交叉使用。KafkaProducer内部包含一个缓存池，存放待发送消息，即ProducerRecord队列，与此同时会开启一个IO线程将ProducerR
分类：
其他好文 时间：
2020-12-07 12:49:28
阅读次数：
11
本文将在RocketMQ消息发送systembusy、brokerbusy原因分析与解决方案的基础上，结合生产上的日志尝试再次理解brokerbusy以及探讨解决方案。首先，brokerbusy相关的日志关键字如下：[REJECTREQUEST]systembusytoomanyrequestsandsystemthreadpoolbusy[PC_SYNCHRONIZED]brokerbusy[P
分类：
其他好文 时间：
2020-12-07 12:48:48
阅读次数：
17
温馨提示：由于微信单篇文章的字数限制，RocketMQDLedger日志复制分为两篇文章介绍。本篇紧接着上文源码分析RocketMQDLedger(多副本)之日志复制-上篇。3、EntryHandler详解EntryHandler同样是一个线程，当节点状态为从节点时激活。3.1核心类图其核心属性如下：longlastCheckFastForwardTimeMs上一次检查主服务器是否有push消息的
分类：
其他好文 时间：
2020-12-07 12:47:18
阅读次数：
11
消息组接到某项目组反馈，topic在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下：例如业务主体名topic_dw_test_by_order_01的路由信息如图所示：当前的消费者信息：broker的配置信息如下：brokerClusterName=DefaultCl
分类：
其他好文 时间：
2020-12-07 12:44:57
阅读次数：
13
