消息组接到某项目组反馈，topic在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在的虚拟机中来重现问题。1、案情回顾1.1集群现状集群信息如下：例如业务主体名topic_dw_test_by_order_01的路由信息如图所示：当前的消费者信息：broker的配置信息如下：brokerClusterName=DefaultCl
分类：
其他好文 时间：
2020-12-07 12:44:57
阅读次数：
13
用户自定义协议client/server代码示例 代码参考链接：https://github.com/sogou/workflow message.h message.cc server.cc client.cc 关于user_defined_protocol 本示例设计一个简单的通信协议，并在协议 ...
分类：
其他好文 时间：
2020-12-03 11:39:04
阅读次数：
3
Kafka 最初考虑的问题是，customer 应该从 brokes 拉取消息还是 brokers 将消 息推送到 consumer，也就是 pull 还 push。在这方面，Kafka 遵循了一种大部分 消息系统共同的传统的设计：producer 将消息推送到 broker，consumer 从 ...
分类：
其他好文 时间：
2020-12-03 11:32:29
阅读次数：
3
基于kerberos 加密的kafka消息我们在用spring binder链接的时候配置应当如下： #input spring.cloud.stream.bindings.process-in-0.destination=input-topic spring.cloud.stream.bindin ...
分类：
编程语言 时间：
2020-11-25 12:45:59
阅读次数：
10
Celery 1.什么是Clelery Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统 专注于实时处理的异步任务队列 同时也支持任务调度 Celery架构 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（ta ...
分类：
其他好文 时间：
2020-11-10 11:18:05
阅读次数：
9
一、概念 微服务（Microservices）是一种架构风格，一个大型复杂软件应用由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。在所有情况下，每个任务代表着一个小的业务能力。 旨在：通过将功能分解到各个离散的服务中 ...
分类：
编程语言 时间：
2020-11-04 19:04:36
阅读次数：
28
一、前言 之前的物联网篇，有介绍过用户手机APP或在H5端，可以作为mqtt的客户端，通过tcp:1883或者Websocket:8083，连接到EMQ Broker上，订阅设备的主题，从而收到设备上报的数据。但是，在处理工业物联网的时候，会出现，物联网平台会对接客户自己的应用。设备上报与下发都是通 ...
分类：
Web程序 时间：
2020-10-30 13:11:16
阅读次数：
28
在《Kafka消费者的使用和原理》中已经提到过“再均衡”的概念，我们先回顾下，一个主题可以有多个分区，而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费，可认为每个分区的消费权只属于消费组中的一个消费者。但是世界是变化的，例如消费者会宕机，还有新的消费者会加入，而为了应对这些变化，让分区所属权的分配合理，这都需要对分区所属权进行调整，也就是所谓的“再均衡”。本文将对再
分类：
其他好文 时间：
2020-10-27 11:55:04
阅读次数：
42
记一次celery使用过程中丢失上下文问题问题场景项目中需要在celery的异步任务中连接其他服务的celery任务队列，并向所连接的celery中发送task任务。这样使用的结果就是：需要生成两个不同的celery实例，在第一个celery实例中需要使用flask中的上下文，并进行上下文的生成，在调用完另一个celery实例后，在worker运行了标记的task最大任务销毁重启之后；会发生在需要
分类：
其他好文 时间：
2020-10-27 11:30:23
阅读次数：
19
上云端新建DG库，master:代表主服务器，AWSDG:为新DG库：下面是具体操作步骤：
分类：
数据库 时间：
2020-10-10 17:21:25
阅读次数：
34
