标签：分配 分析 ack 分发 span strong 机器 super 开发人员
前面介绍了流计算，在流计算领域，一个热门的计算框架就是-Storm。还是先介绍概念。。。
在流处理过程中，我们除了考虑最重要的数据处理的逻辑，还需要维护消息队列和消费者，考虑消息怎么流、怎么序列化等。而Storm就是这样一个流式计算框架，它为你完成了消息传递等这些通用模块，让你专注于实时处理的业务逻辑。
Storm--一种分布式实时计算系统。Storm之于流计算，类似于Hadoop之于批处理。Storm可以简单、高效、可靠的处理流数据，它提供了简单的编程原语，并且支持多种语言，开发人员只需要关注业务逻辑。可以应用到很多领域，例如实时分析、在线机器学习、分布式RPC、ETL等。
下面进一步了解下Storm
在Storm里面包含几个组件：Streams， Sputs ，Bolts， Topology，Stream Groupings。
1、Streams（流）
Streams是Storm对数据的抽象。Storm处理的数据对象是“流数据”，流数据是一个无限的Tuple序列，这些Tuple序列会以分布式的方式并行创建何处理。
熟悉Python的同学可能对Tuple（元组）更容易理解一些，它就是一个元素的有序序列，每一个Tuple就是一个值列表，列表里的值的类型没有严格的规定，可以是基本类型、字符类型、字节数组也可以是其他可序列化的类型。
2、Spouts（喷口）
Spouts是Storm对数据源头的抽象。Spouts是stream的源头，从外部读取流数据并持续发出Tuple。
3、Bolts(螺栓)
Bolts是Storm对stream的状态转换过程的抽象。Bolts既可以处理tuple，也可以把处理以后的tuple作为新的streams发送给其他的bolts。对tuple的处理逻辑都被封装在bolts中，在bolts中可以对数据执行过滤、聚合、查询等操作。
4、Topology（拓扑）
Topology是Storm对Spouts和Bolts组成的网络的抽象。Topology是Storm中最高层次的抽象概念，可以被提交到Storm集群执行。一个Topology就是又给流转换图，图中的节点是Spouts或Bolts，图中的边表示Bolts订阅了哪个Stream。当Spout或bolt发送元组的时候，会把元组发送到每个订阅了该stream的bolt上进行处理。
topology支持通过各种编程语言来创建、提交topology。
5、Stream Groupings
用于告知topology如何在两个组件之间进行tuple的传送，组件之间可以是spout和bolt之间或者不同bolt之间。stream groupings决定了一个任务在什么时候、以什么形式发送tuple。
Storm中的stream gouping有以下6种方式。
shuffleGrouping：随机分组，把stream中的tuple随机分发给各个bolts的task
fieldsGrouping：按字段分组，相同字段的tuple分配到同一个task中
all Grouping：广播发送，每个task收到所有的tuple
globalGrouping：全局分组，所有的tuple都发送到同一个task中
nonGrouping：不分组，和shuffleGrouping类似，当前task的执行和它的被订阅者在同一个线程中执行
directGrouping：直接分组，直接指定某个task来执行tuple的处理。
对于Strom框架的理解，类比着hdp可能会更容易理解些。
Strom运行在分布式集群中，我们可以类比下hadoop，hdp上运行的是MR作业，Storm上运行的是Topology。不过MR是有限的，会结束，但是topology会对数据进行持续处理，直到人为终止。
一个Storm集群包含Master节点和Worker节点。
Master节点上运行Nimbus后台程序，类似MR中的JobTracker。负责集群内代码的分发、worker任务的分配和故障监测。
Worker运行Supervisor后台程序，负责监听分配给当前机器的工作，根据Nimbus分配的任务来启动或停止worker进程。每个supervisor有n个worker进程，负责代理task给worker进程，worker再孵化执行线程最终运行task。
worker负责执行特定的task，worker本身不执行任务，而是孵化executors，让executors执行task；executor本质上是worker进程孵化出来的线程，executor运行task都属于同一spout或bolt。task是实际执行的任务处理，或者是Spout或者是Bolt。
storm使用内部消息系统在nimbus和supervisor之间进行通信。
master和worker之间不会直接交互，为了实现master和worker之间的协同，采用zookeeper作为协调组件。zk中存储master和worker的状态信息，以便节点故障时根据zk中状态信息进行快速恢复，保证storm的稳定性。
在这样的架构下，storm的工作流程如下图
1、client把topology提交到storm集群
2、提交top后nimbus收集task
3、Nimbus分发task，把分配给Supervisor的task写入zk
4、Supervisor周期性发送心跳表示自己还活着，如果Supervisor挂掉，nimbus将task分发给其他supervisor
5、Supervisor从zk中获取所分配的任务，启动worker进程，woker进程执行任务。
6、task完成后，supervisor等待新的task
7、如果nimbus挂掉，supervisor继续执行自己的task，task完成后，supervisor继续等待新的task
标签：分配 分析 ack 分发 span strong 机器 super 开发人员
原文地址：https://www.cnblogs.com/Jing-Wang/p/11024126.html
