CSDN：程序员小羊 微信公众号：程序员小羊 1、Kafka 是什么 Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用Scala 语言编写，目前是 Apache 的开源项目。 broker： Kafka 服务器，负责消息存储和转发 topic：消 ...
分类：
其他好文 时间：
2020-09-17 21:42:29
阅读次数：
32
1.kafka是一个分布式的消息队列，缓存系统，消息的发布和订阅系统。 2.始于Linkedin公司，开源于apache。 3.包含生产者，消费者，broker。 4.每秒支持百万消息处理。 5.支持多个生成者，多个消费者，多个broker 6.生成者产生数据，按topic分类数据，对数据进行分区， ...
分类：
其他好文 时间：
2020-09-17 13:42:05
阅读次数：
36
最近看了@JavaGuide发布的一篇『面试官问我如何保证Kafka不丢失消息?我哭了！』，这篇文章承接这个主题，来聊聊如何保证RocketMQ不丢失消息。0x00.消息的发送流程一条消息从生产到被消费，将会经历三个阶段：生产阶段，Producer新建消息，然后通过网络将消息投递给MQBroker存储阶段，消息将会存储在Broker端磁盘中消息阶段，Consumer将会从Broker拉取消息以上任
分类：
其他好文 时间：
2020-08-05 18:15:11
阅读次数：
81
中间件集群协议msgpack /// <author>cxg 2020-8-5</author> /// 集群协议 /// broker：代理服务器 unit groupProtocol; interface uses SysUtils, MsgPack ,classes ; const //命令字 ...
分类：
其他好文 时间：
2020-08-05 16:53:29
阅读次数：
75
1.文件目录布局 Kafka消息以日志文件的形式存储，不同主题下不同分区的消息分开存储，同一个分区的不同副本分布在不同的broker上存储 逻辑上看来日志是以副本为单位的，每个副本对应一个log对象，实际在物理上，一个log划分为多个logSegment 创建一个topic为3个分区，会在log.d ...
分类：
其他好文 时间：
2020-08-05 00:12:43
阅读次数：
100
一次机房停电引发的思考今天早上到公司的时候，接到开发反馈DEV环境所有接口都卡，耗时都在一分钟以上，严重影响开发正常工作，然后通过网关的日志定位到原因是因为kafka集群不可用（总共3个broker，前一天晚上机房停电导致leader节点挂了），导致网关的反爬过滤器里面发送kafka消息的代码kafkaTemplat.send阻塞了60s，当时在想这个send方法不是异步的吗，为什么会阻塞60s？
分类：
其他好文 时间：
2020-07-31 01:13:59
阅读次数：
93
基于分布式异步框架celery 前文已知，celery可以执行异步任务、延时任务、定时任务。 broker:'redis://127.0.0.1:6379/2' # 消息队列（中间件） broker 可以使用Redis、RabbitMQ backend:'redis://127.0.0.1:6379 ...
分类：
其他好文 时间：
2020-07-27 23:58:21
阅读次数：
99
一、创建celery包 1、新建一个包，任意命名，如，celery_task。 2、包内创建celery对象，指定命名为celery.py： from celery import Celery broker = 'redis://127.0.0.1:6379/1' backend = 'redis: ...
分类：
其他好文 时间：
2020-07-27 23:34:07
阅读次数：
76
一.消息的可靠投递 在使用RabbitMq的时候，作为消息发送方希望杜绝任何消息丢失或者投递失败的场景。RabbitMQ为我们提供了两种方式用来控制消息的投递可靠性 rabbitMQ 整个消息投递过程为： producer -> rabbitMQ broker -> exchange -> queu ...
分类：
其他好文 时间：
2020-07-27 17:53:27
阅读次数：
116
