Spark性能调优之JVM调优

时间：2017-03-11 00:58:26 阅读：234 评论：0 收藏：0 [点我收藏+]

通过一张图让你明白以下四个问题

1.JVM GC机制，堆内存的组成

2.Spark的调优为什么会和JVM的调优会有关联？--因为Scala也是基于JVM运行的语言

3.Spark中OOM产生的原因

4.如何在JVM这个层面上来对Spark进行调优

补充：

Spark程序运行时--JVM堆内存分配比例

RDD缓存的数据（0.6）默认

对象_task运行时产生的（0.2）默认

聚合内存_shuffle read拉来的数据（0.2）默认

手动分配内存时，不能去调节task运行时的内存，可以去调节其他的RDD Memory OR Shuffle read_聚合内存来间接调节task运行内存

原文地址：http://www.cnblogs.com/haozhengfei/p/3d8f33e6f4b69e4adf6c9f5b0cf986f2.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行