码迷,mamicode.com
首页 > 其他好文 > 详细

深入了解Kafka【五】Partition和消费者的关系

时间:2019-12-08 23:23:55      阅读:108      评论:0      收藏:0      [点我收藏+]

标签:range   src   use   权威指南   变化   jpg   sde   fuse   带来   

技术图片


1、消费者与Partition

以下来自《kafak权威指南》第4章。
假设主题T1有四个分区。

1.1、一个消费者组

1.1.1、消费者数量小于分区数量

只有一个消费者时,消费者1将收到4个分区的全部消息。
技术图片
当有两个消费者时,每个消费者将分别从两个分区接受消息。
技术图片

1.1.2、消费者数量等于分区数量

当有四个消费者时,每个消费者都可以接受一个分区的消息。
技术图片

1.1.3、消费者数量大于于分区数量

当有五个消费者时,会有闲置的消费者。
技术图片

1.2、两个消费者组

消费者群组之间是互不影响的,如图:
技术图片

2、分区分配策略

当消费者加入群组的时候,会根据分区分配策略决定哪些分区分配给哪些消费者。
Kafka有两种分配策略:Range和RoundRobin。

  • Range
    Topic的若干个连续的Partition分配给消费者。
  • RoundRobin
    Topic的所有Partition逐个分配给消费者。

3、分区Rebalance(再均衡)

  • 有新的消费者加入消费者群组
  • 已有的消费者退出消费者群组
  • 订阅的主题的分区发生变化

以上三种情况都会触发分区的重新分配,重新分配的过程叫Rebalance(再均衡)。
Rebalance给消费者群组带来了高可用性与伸缩性,但是在Rebalance期间,消费者无法读取消息,整个群组一小段时间不可用,而且当分区被重新分配给另一个消费者时,消费者当前的读取状态会丢失。

技术图片

深入了解Kafka【五】Partition和消费者的关系

标签:range   src   use   权威指南   变化   jpg   sde   fuse   带来   

原文地址:https://www.cnblogs.com/clawhub/p/12008169.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!