分区的原因 方便在集群中扩展 可以提高并发 生产者分区原则 有partition，直接用 有key，用key.hash%partition.length 无，随机生成整数M，用n*M%partition.length ProducerRecord(String topic,int partition ...
分类：
其他好文 时间：
2020-06-30 13:06:23
阅读次数：
51
前面说过了consumer心跳机制：consumer定期向coordinator发送心跳请求，以表明自己还在线；如果session.timeout.ms内未发送请求，coordinator认为其不可用，然后触发rebalance session.timeout.ms：coordinator感知con ...
分类：
其他好文 时间：
2020-06-28 18:30:22
阅读次数：
193
前言 使用GitHub的时候，发现部分用户头像加载失败，没有理会； 点击explore下的topic，全部图标都没有加载出来就很难受了。 搜索GitHub图片不显示，找到博客:解决Github网页上图片显示失败的问题，成功解决 步骤 找到加载失败的图片网址：chrome按F12，然后ctrl+shi ...
分类：
其他好文 时间：
2020-06-28 18:13:51
阅读次数：
118
工作模式： 1、简单模式 HelloWorld : 一个生产者、一个消费者，不需要设置交换机（使用默认的交换机） 2、工作队列模式 Work Queue: 一个生产者、多个消费者（竞争关系），不需要设置交换机（使用默认的交换机） 3、发布订阅模式 Publish/subscribe: 需要设置类型为 ...
分类：
其他好文 时间：
2020-06-28 18:11:23
阅读次数：
46
1、消费者组 kafka提供的一种可扩展可容错消费机制，某个topic的分区数据只能被组内的一个消费者消费，注：当指定了自动提交(enable.auto.commit=true)时，必须显式的指定消费者组ID(group.id) 2、消费位置和offset管理 消费者需要记录消费了多少数据，即消费位 ...
分类：
其他好文 时间：
2020-06-28 15:17:15
阅读次数：
51
kafka Topic主题与Patitions分区架构图： 硬件架构图： end. ...
分类：
其他好文 时间：
2020-06-27 00:24:19
阅读次数：
60
点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到 ...
分类：
其他好文 时间：
2020-06-26 22:33:00
阅读次数：
79
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
什么是分区再分配： 如果该topic的分区大于1，那么生产者生产的数据存放到哪个分区，完全取决于key值，比如key=A，那么存到分区0，key=B，那么存到分区1，如果key为null，那么负载均衡存储到每个分区！ 分区再分配监听器代码： end. ...
分类：
编程语言 时间：
2020-06-25 21:15:18
阅读次数：
65
