1. kafka的核心操作组件 —— 延迟操作组件

时间：2018-07-07 20:32:48 阅读：141 评论：0 收藏：0 [点我收藏+]

延迟操作：kafka将一些需要等待满足一定条件之后才触发的操作成为延迟操作，并将这些操作定义为一个抽象类DelayedOperation。

kafka的延迟组件有DelayedProduce、DelayedFetch、DelayedHeartbeat、DelayedJoin、DelayedCreateTopics，这些都继承于DelayedOperation抽象类，分别用来协助相应的组件对不同的请求完成延迟处理。
技术分享图片

DelayedOperation抽象类下的方法：
1）tryComplete()。一个抽象方法，由子类负责实现，检测执行条件是否满足，如果满足，子类执行forceComplete()方法完成操作。
2) forceComplete()。该方法用于检测任务是否执行，若未执行，则会调用onComplete()方法。此方法采用CAS原子操作可以保证在并发操作时只有第一个调用该方法的线程能顺利调用onComplete()。
3) onComplete()。抽象方法，由子类负责实现，是实际的业务逻辑。
4) safeTryComplete()。供外部方法调用，外部调用此方法时，此方法会调用onComplete()。
5) onExpriation()。抽象方法，由子类负责实现当延迟操作已达失效时间时的相应逻辑处理。

延迟操作的类型：
1) DelayedProduce。DelayedProduce是协助ReplicaManager副本管理器完成相应操作的。ReplicaManager副本管理器的功能是负责将生产者发送的消息写入Leader副本、管理Follower副本与Leader副本之间数据同步以及主副本角色互换。DelayedProduce的作用就是协助副本管理器在满足所有副本同步完消息后再向客户端做出响应。所以DelayedProduce的tryComplete()方法就是去检测所有分区是否已经完生产者发送的数据，onComplete()方法就是向客户端做出响应。
2) DelayedFetch。这个组件是在FetchRequest获取数据请求时进行的延迟操作。在kafka中只有消费者和Follower副本会发起FetchRequest请求。这个延迟操作的目的是为了让每次拉取消息时，可以获取到指定大小的数据。
3) DelayedJoin。这个组件是协助组协调器在消费组准备平衡操作时进行相应的处理，之所以需要DelayedJoin，是为了让组协调器等待当前消费组下所有的消费者都请求加入消费组。
4) DelayedHeartbeat。心跳延迟操作组件。
5) DelayedCreateTopics。DelayedCreateTopics延迟操作等待该主题的所有分区副本分配到leader后调用回调函数返回给客户端。

1. kafka的核心操作组件 —— 延迟操作组件

标签：大小 size ado 业务逻辑外部核心 iat 任务 etc

原文地址：http://blog.51cto.com/13604100/2138576

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行