Spark性能调优之JVM调优 通过一张图让你明白以下四个问题 1.JVM GC机制，堆内存的组成 2.Spark的调优为什么会和JVM的调优会有关联？--因为Scala也是基于JVM运行的语言 3.Spark中OOM产生的原因 4.如何在JVM这个层面上来对Spark进行调优 补充： Spark程 ...
分类：
其他好文 时间：
2017-03-11 00:58:26
阅读次数：
234
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作 ...
分类：
其他好文 时间：
2017-03-10 00:34:22
阅读次数：
236
1、调节reduce端缓冲区大小避免OOM异常 1.1 为什么要调节reduce端缓冲区大小 对于map端不断产生的数据，reduce端会不断拉取一部分数据放入到缓冲区，进行聚合处理； 当map端数据特别大时，reduce端的task拉取数据是可能全部的缓冲区都满了，此时进行reduce聚合处理时创 ...
分类：
其他好文 时间：
2017-02-28 18:54:56
阅读次数：
208
1、使用MapPartitions代替map 1.1 为什么要死使用MapPartitions代替map 普通的map,每条数据都会传入function中进行计算一次；而是用MapPartitions时，function会一次接受所有partition的数据出入到function中计算一次，性能较高 ...
分类：
其他好文 时间：
2017-02-27 10:39:23
阅读次数：
271
本課主題 Shuffle 是分布式系统的天敌 Spark HashShuffle介绍 Spark Consolidated HashShuffle介绍 Shuffle 是如何成为 Spark 性能杀手 Shuffle 性能调优思考 Spark HashShuffle 源码鉴赏 引言 Spark Ha ...
分类：
其他好文 时间：
2017-02-25 21:23:22
阅读次数：
288
本課主題 大数据性能调优的本质 Spark 性能调优要点分析 Spark 资源使用原理流程 Spark 资源调优最佳实战 引言 我们谈大数据性能调优，到底在谈什么，它的本质是什么，以及 Spark 在性能调优部份的要点，这两点让直式进入性能调优都是一个至关重要的问题，它的本质限制了我们调优到底要达到 ...
分类：
其他好文 时间：
2017-02-25 00:57:36
阅读次数：
257
1、分配更多的资源 1.1 分配的资源有：executor、cup per executor、memory per executor、driver memory 1.2 如何分配：在spark-submit提交时设置相应的参数 1.3 调节到多大（原则：能使用的资源有多大，就尽量调节到最大的大小） ...
分类：
其他好文 时间：
2017-02-23 15:49:45
阅读次数：
356
第一：提高并行度 并行度就是Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。 第一：提高并行度 并行度就是Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。 如果不调节并行度，导致并 ...
分类：
其他好文 时间：
2016-12-16 19:19:38
阅读次数：
341
Spark性能优化 - 开发调优优化一 避免创建重复的RDD通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某...
分类：
其他好文 时间：
2016-12-07 14:29:34
阅读次数：
164
【重要】 Spark性能调优——扩展篇 ： http://blog.csdn.net/zdy0_2004/article/details/51705043 ...
分类：
其他好文 时间：
2016-12-01 21:48:17
阅读次数：
247
