转载：http://www.cnblogs.com/jcchoiling/p/6494652.html 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的改变，Spark 1.6.x 以前是基于静态固定的JVM内存使用架构和运行机制，如果你不知道 Spark 到底对 JVM ...
分类：
其他好文 时间：
2017-07-26 21:49:58
阅读次数：
177
装载：http://www.cnblogs.com/jcchoiling/p/6431969.html 引言 Spark HashShuffle 是它以前的版本，现在1.6x 版本默应是 Sort-Based Shuffle，那为什么要讲 HashShuffle 呢，因为有分布式就一定会有 Shuf ...
分类：
其他好文 时间：
2017-07-26 12:34:06
阅读次数：
173
作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/随着Spark的逐渐成熟完好, 越来越多的可配置參数被加入到Spark中来, 在Spark的官方文档http://spark.apach ...
分类：
其他好文 时间：
2017-07-23 12:38:42
阅读次数：
180
本文转自美团点评技术团队博客，原文地址：http://tech.meituan.com/spark-tuning-pro.html 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以 ...
分类：
其他好文 时间：
2017-07-03 22:30:15
阅读次数：
232
原文：http://blog.csdn.net/tanglizhe1105/article/details/51050974 背景 很多使用Spark的朋友很想知道rdd里的元素是怎么存储的，它们占用多少存储空间？本次我们将以实验的方式进行测试，展示rdd存储开销性能。 关于rdd的元素怎么存储，S ...
分类：
其他好文 时间：
2017-07-03 22:24:27
阅读次数：
186
作者：刘旭晖 Raymond 转载请注明出处Email：colorant at 163.comBLOG：http://blog.csdn.net/colorant/随着Spark的逐渐成熟完好, 越来越多的可配置參数被加入到Spark中来, 本文试图通过阐述这当中部分參数的工作原理和配置思路, 和大 ...
分类：
其他好文 时间：
2017-06-11 19:14:27
阅读次数：
1363
前言 数据倾斜调优 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提高shuffle操作的并行度 解决方案四：两 ...
分类：
其他好文 时间：
2017-05-23 13:16:57
阅读次数：
284
前言 开发调优 调优概述 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化 ...
分类：
其他好文 时间：
2017-05-23 13:13:59
阅读次数：
317
Spark性能优化指南——高级篇 [TOC] 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中... ...
分类：
其他好文 时间：
2017-05-14 23:48:10
阅读次数：
506
前言 开发调优 调优概述 原则一：避免创建重复的RDD 原则二：尽可能复用同一个RDD 原则三：对多次使用的RDD进行持久化 原则四：尽量避免使用shuffle类算子 原则五：使用map-side预聚合的shuffle操作 原则六：使用高性能的算子 原则七：广播大变量 原则八：使用Kryo优化序列化 ...
分类：
其他好文 时间：
2017-05-11 20:32:19
阅读次数：
290
