码迷,mamicode.com
首页 > 其他好文 > 详细

Flink设置并行度的几种方式

时间:2020-03-18 11:28:37      阅读:695      评论:0      收藏:0      [点我收藏+]

标签:顺序   执行顺序   focus   修改   cal   执行   round   end   run   

Flink设置并行度的几种方式

  1. 代码中设置setParallelism()

    • 全局设置:

      env.setParallelism(3); 
    • 算子设置(部分设置):

      sum(1).setParallelism(3)
  2. 客户端CLI设置:

    ./bin/flink run -p 3
    
  3.  修改配置文件设置/conf/flink-conf.yaml的parallelism.defaul数值

  4. 最大并行度设置

    • 全局设置:

      env.setMaxParallelism(n) 
    • 算子设置(部分设置):

      sum(1).setMaxParallelism(n)

      默认的最大并行度是近似于operatorParallelism + (operatorParallelism / 2),下限是127,上线是32768. 

执行顺序级别:算子>全局env>CLI>配置文件 。

.setParallelism()的并行度需要小于.setMaxParallelism()的最大并行度。

 

Flink设置并行度的几种方式

标签:顺序   执行顺序   focus   修改   cal   执行   round   end   run   

原文地址:https://www.cnblogs.com/successok/p/12516059.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!