1、轮询策略：按照消息尽量保证每个分区的负载，消息会均匀分布到每个partition。写入消息的时候，key为null的时候，默认使用的是轮询策略。 2、随机策略：不使用。 3、按key写入策略：key.hash()%分区的数量。 4、自定义分区策略：类似于mapReduce指定分区。 乱序问题： ...
分类：
其他好文 时间：
2021-07-26 16:34:25
阅读次数：
0
一、broker消息存储 本节揭露broker上消息存储的真实目录结构+存储方式。 1.1 目录、文件结构 有3个比较重要的文件： commitLog消息日志：消息主体以及元数据的存储主体，存储Producer端写入的消息主体内容, consumequeue逻辑消费队列：存储了commitLog的起 ...
分类：
其他好文 时间：
2021-07-21 17:31:03
阅读次数：
0
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
RabbitMQ知识详解 一、什么是消息队列 消息队列，即MQ，Message Queue。消息队列是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的 ...
分类：
其他好文 时间：
2021-07-05 18:52:35
阅读次数：
0
#1. 对于MQ的理解 MQ全称为Message Queue，即消息队列。它是典型的：生产者、消费者模型。生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。可以看出消息的生产和消费都是异步的，生产者和消费者只关心消息的发送和接收，没有业务逻辑的侵入，这样就实现了生产者和消费者的解耦。 R ...
分类：
其他好文 时间：
2021-07-02 15:57:06
阅读次数：
0
即消费者行为模型。原来一直倡导的AIDMA模式，即——引起消费者注意——产生兴趣——激发欲望——强化记忆——促使行动。现在随着互联网的兴起，消费者在商品的选择上已不限于实体，更多的是电商的形式。甚至商品也不一定是实体的，也有虚拟的、知识类的产品。因此从过去的AIDMA模式做进一步的延伸，慢慢演变出A ...
分类：
其他好文 时间：
2021-07-02 15:41:24
阅读次数：
0
我最新最全的文章都在 南瓜慢说 www.pkslow.com ，欢迎大家来喝茶！ 1 简介 Kubernetes自带的HPA是只支持CPU/MEM的，很多时候我们并不根据这两项指标来进行伸缩资源。比如消费者不断处理MQ的消息，我们希望MQ如果堆积过多，就启动更多的消费者来处理任务。而Keda给了我们 ...
分类：
Web程序 时间：
2021-06-30 18:31:49
阅读次数：
0
死锁产生的四个必要条件 互斥条件：一个资源每次只能被一个进程使用 请求与保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放 不剥夺条件：进程已获得的资源，在未使用完之前，不能强制剥夺 循环等待条件：若干进程之间形成一种头尾相接的循环等待资源关系 实例 package com.yeyue.t ...
分类：
编程语言 时间：
2021-06-30 18:01:58
阅读次数：
0
kafka 应用数据读取理论生产者和消费者 生产者：生产数据 消费者：消费生产者产生的数据 对应关系：一个任务可以有多个分组，可以对应多个消费者，但消费者数量不能大于生产者分组数量，多余的也是无用的。（多对多的中的一对一关系） 特性：kafka只需写入一次，可以支持任意多的应用读取全部数据，如果应用 ...
分类：
编程语言 时间：
2021-06-30 17:51:24
阅读次数：
0
尽管广告词的作用很大，但要将核心思想用简单的一句话或几个字清晰地表达出来，同时又要符合品牌定位，体现三观，吻合人设，确实并不容易。即使产品的设计，也要清楚地传达出出差和异化的兴趣点，触动消费者那敏感的神经。 因此，广告词不仅仅是创意的产物，更是逻辑的产物，它不是在脑子里写出来的。假如企业没有做过品牌 ...
分类：
其他好文 时间：
2021-06-29 15:17:17
阅读次数：
0
