一般我们在用到这种消息中件的时候，肯定会考虑要怎样才能保证数据不丢失，在面试中也会问到相关的问题。但凡遇到这种问题，是指3个方面的数据不丢失，即：producer consumer 端数据不丢失 broker端数据不丢失下面我们分别从这三个方面来学习，kafka是如何保证数据不丢失的 一.produ ...
分类：
其他好文 时间：
2021-01-18 10:53:52
阅读次数：
0
生产者 KafkaExtendProducer.send("topic","key","value"); 消费者 @Slf4j @RequiredArgsConstructor @Component public class ConsumerThread implements Runnable { ...
分类：
其他好文 时间：
2021-01-15 11:46:10
阅读次数：
0
kafka的Accumulator 前言 上次我们解释了KafkaProducer的初始化和metadata数据的获取，得到了metadata数据，大伙可能就想他应该发送了吧。 不，它还要讲数据放在accumulater中，然后再真正的发送。 [][https://blog-images-bucke ...
分类：
其他好文 时间：
2021-01-13 10:54:06
阅读次数：
0
各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中，只需要将这类消息设置相同的 Key 即可，而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消费，因此可在消费时按分区进行顺序消费，保证每个分区的消息具备局部顺序性。由于需要确保分区消息的顺序性，并不能并 ...
分类：
编程语言 时间：
2021-01-11 11:11:50
阅读次数：
0
需求背景 ?业务发展越来越庞大，服务器越来越多?各种访问日志、应用日志、错误日志量越来越多?开发人员排查问题，需要到服务器上查日志，效率低、权限不好控制?运维需实时关注业务访问情况 K8S环境中需要查看的应用日志 应用程序日志记录体现方式分为两类：?标准输出：输出到控制台，使用kubectl log ...
分类：
Web程序 时间：
2021-01-05 11:13:24
阅读次数：
0
分布式分为分布式缓存（Redis）、分布式锁（Redis 或 Zookeeper）、分布式服务（Dubbo 或 SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka 、RabbitMq）、分布式 Session 、分布式事务、分布式搜索（Elasticsearc ...
分类：
其他好文 时间：
2021-01-04 11:02:16
阅读次数：
0
Kafka概述 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 传统消息队列的应用场景 使用消息队列的好处 1:解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2:可恢复性 系统的一部分组件失效时 ...
分类：
其他好文 时间：
2021-01-02 10:52:13
阅读次数：
0
方式?：Redis的setNX() , 做消息id去重 java版本?目前不不?支持设置过期时间//Redis中操作，判断是否已经操作过 TODOboolean flag = jedis.setNX(key);if(flag){//消费}else{//忽略略，重复消费}方式?：redis的 Incr ...
分类：
其他好文 时间：
2020-12-28 10:58:18
阅读次数：
0
K8s概述 ? 我清晰地记得曾经读到过的一篇博文，上面是这样写的: ? “云端教父AWS云端架构策略副总裁Adrian Cockcroft曾指出，两者虽然都是运用容器技术，但最大的差异是，Docker是要解决应用程序开发（Developing）问题，而Kubernetes是要解决更上层的应用程序运维 ...
分类：
其他好文 时间：
2020-12-25 11:50:50
阅读次数：
0
参考：尚硅谷相关课程 PPThttps://snailclimb.gitee.io/javaguide/#/docs/system-design/distributed-system/message-queue/Kafka%E5%B8%B8%E8%A7%81%E9%9D%A2%E8%AF%95%E9 ...
分类：
其他好文 时间：
2020-12-23 12:22:21
阅读次数：
0
