Spark 资源优化

标签：资源   png   mamicode   block   alt   img   图片   没事   mic   

Spark 资源优化

Excutor 1
core 2- 4
memory 4 -8

HDFS 1block 128M
HDFS 128*2000 = 200

2000个block 应该如何在20节点work 16core 32G上面跑呢

根据以上的比例关系可以得出最大是

20 * 4 Excutor 80 Excutor
16/4= core 16 core
32/4= 8 G 32 core

2000/(80*4)=6 这个值如果是4就很不错，6也没事。

Spark 资源优化

标签：资源   png   mamicode   block   alt   img   图片   没事   mic   

原文地址：https://www.cnblogs.com/BrentBoys/p/10890053.html