码迷,mamicode.com
首页 > 其他好文 > 详细

Storm总结

时间:2015-08-30 23:37:40      阅读:206      评论:0      收藏:0      [点我收藏+]

标签:

基本概念

  1. 一台物理机,运行多个拓扑。具体说就是,运行多个进程,每一个进程仅属于一个拓扑。

  2. worker(工作进程) 是进程。

  3. executor(执行器)是线程。

  4. 执行器运行着多个任务( task),但执行器只能执行一类组件,要么是spout要么是bolt。

  5. 组件的任务就是task,每一个bolt就相当于多个task。

  6. eg:一个线程运行着 training-bolt的多个task,但默认是1线程1task。一个bolt的task数量在运行过程中是一定的,但是一个组件的线程数可以改变。

  7. parallelism_hint表示:一个bolt的线程(executor)数量。

  8. 一些相关代码

Config.setNumWorkers(10); //一个拓扑有多少个分布于集群中的进程。
builder.setBolt(); //第三个参数就是parallelism-hint
topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2).setNumTasks(4).shuffleGrouping("blue-spout);//GreenBolt指定了初始有2个executor和4个关连的task。Storm会在每个 executor(线程)2个task。


Storm总结

标签:

原文地址:http://my.oschina.net/supersonic/blog/499309

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!