码迷,mamicode.com
首页 > 其他好文 > 详细

Storm整体架构分析

时间:2016-03-19 12:56:27      阅读:179      评论:0      收藏:0      [点我收藏+]

标签:

一、Storm总体架构

技术分享

客户端提交Topology代码到Nimbus。Nimbus针对该Topology建立本地的目录,Nimbus中的调度器根据Topology的配置计算Task,并把Task分配到不同的Worker上,调度的结果写入Zookeeper中。Zookeeper上创建assignments节点,存储Task和Supervisor中Worker的对应关系。在Zookeeper上创建workerbeats节点来监控Worker的心跳。supervisor去zookeeper上获取分配的Tasks信息,启动一个或者多个Worker来运行。每个Worker上运行多个Task,Task有Executor来具体执行。Worker根据Topology信息初始化建立Task之间的连接,相同Worker内的Task通过DisrupterQueue来通信,不同Worker间默认采用Netty来通信,然后整个Topology就运行起来了。

 

Storm整体架构分析

标签:

原文地址:http://www.cnblogs.com/liuyunAlex/p/5294751.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!