码迷,mamicode.com
首页 > 其他好文 > 详细

Storm并发度和Grouping方式

时间:2015-12-12 17:07:23      阅读:165      评论:0      收藏:0      [点我收藏+]

标签:

Storm并发度和Grouping方式

Task数量————->逻辑数量(影响输出结果)
Worker数量———->进程数(影响效率)
Executor数量——–>线程数(影响效率)

1.builder.setSpout("spout",new RandomSentenceSpout(),5).setNumTask(7);
2.//5表示有5个Executor,7表示有7个Task
1.Config conf=new Config();
2.conf.setDebug(true);
3.
4.if(args !=null && args.length>0){
5. conf.setNumWorkers(3);
6. /*3表示有3个Worker,但是在本地模式下Worker是不生效的,因为它只会起一个进程来进行这个作业。在集群模式下才生效,而且是一定要设置这个值,因为默认是1,也就是只会起一个进程去跑*/
7.}

Grouping方式

分组名 备注
Shuffle Grouping 随机分组
Fields Grouping 按字段分组,保证同字段的数据必然分到同一个Bolt
All Grouping 广播,所有下游只有一个并发时使用
Global Grouping 全局分组,下游只有一个并发时使用
None Grouping 预留,目前等价于Shuffle Grouping
Direct Grouping 直接指明下游的分组,比较底层的API
Local or Shuffle Grouping 功能上类似随机分组,但会尽可能发送给同一个Worker内的bolt,减少网络传输

Storm并发度和Grouping方式

标签:

原文地址:http://www.cnblogs.com/XBlack/p/5041440.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!