Storm 实践记录

标签：data   中间   高可用   分配   bsp   采集   worker   RKE   png   

概念

Storm 各个组成部分结构

各个组件的作用：

主节点：nimbus 分配任务和系统资源

从节点：Supervisor 执行任务的节点

worker：多线程的进程，worker中每个线程叫做一个Executor

Executor：物理上的线程

Task：任务，类型：Spout（采集数据），Bolt（处理数据）

各个组件个数对应关系：

• 搭建Nimbus高可用（HA），需要两个Nimbus主节点。
• 一个从节点Supervisor上可以有多个Worker进程
• 一个Worker进程可以有多个Executor线程
• 一个Executor线程中可运行多个Task任务
• Task任务可以是Spout或者Bolt

注意：

nimbus是通过zookeeper这个中间节点来分配任务给supervisor的。supervisor会去zk上取任务。

Storm 实践记录

标签：data   中间   高可用   分配   bsp   采集   worker   RKE   png   

原文地址：https://www.cnblogs.com/fubinhnust/p/11954303.html