标签:
Task数量————->逻辑数量(影响输出结果)
Worker数量———->进程数(影响效率)
Executor数量——–>线程数(影响效率)
1.builder.setSpout("spout",new RandomSentenceSpout(),5).setNumTask(7);
2.//5表示有5个Executor,7表示有7个Task
1.Config conf=new Config();
2.conf.setDebug(true);
3.
4.if(args !=null && args.length>0){
5. conf.setNumWorkers(3);
6. /*3表示有3个Worker,但是在本地模式下Worker是不生效的,因为它只会起一个进程来进行这个作业。在集群模式下才生效,而且是一定要设置这个值,因为默认是1,也就是只会起一个进程去跑*/
7.}
Grouping方式
分组名 | 备注 |
---|---|
Shuffle Grouping | 随机分组 |
Fields Grouping | 按字段分组,保证同字段的数据必然分到同一个Bolt |
All Grouping | 广播,所有下游只有一个并发时使用 |
Global Grouping | 全局分组,下游只有一个并发时使用 |
None Grouping | 预留,目前等价于Shuffle Grouping |
Direct Grouping | 直接指明下游的分组,比较底层的API |
Local or Shuffle Grouping | 功能上类似随机分组,但会尽可能发送给同一个Worker内的bolt,减少网络传输 |
标签:
原文地址:http://www.cnblogs.com/XBlack/p/5041440.html