码迷,mamicode.com
首页 > 其他好文 > 详细

storm trident 消息成功处理

时间:2018-05-24 12:00:30      阅读:238      评论:0      收藏:0      [点我收藏+]

标签:play   win   异或   commit   ESS   shuff   一起   tor   shuffle   

trident里面
batch会被缓存,这样失败了可以重新发送
多个batch可以并行被process,但是commit是严格按照txid顺序来执行
一个batch的状态会存在zk里
只要batch在timeout时间内commit就算完成了,应该同时会清缓存
如果异常或超时了,就会replay

在原声的storm中一个tuple和它衍生的tuple有没有被成功处理,是通过一个异或机制来监控的,如果被成功处理,最后肯定会是0

batch也是类似的监控机制

一个batch也会衍生出一些tuple,也会通过groupby,来拆分进行process

一个tuple完成时说,它和它的衍生tuple,都ack成功了,
一个batch完成时说,batch里的所有tuple都成功了,这些tuple本身都是带txid标志的

一个batch中的多个tuple可能会被shuffle到多个partition,分别处理,这个是没关系的

一个window内可能包含多个batch,他们会被一起处理

storm trident 消息成功处理

标签:play   win   异或   commit   ESS   shuff   一起   tor   shuffle   

原文地址:https://www.cnblogs.com/brainstorm/p/9081447.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!