前言 数据倾斜调优 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提高shuffle操作的并行度 解决方案四：两 ...
分类：
其他好文 时间：
2017-05-11 20:26:02
阅读次数：
240
分桶是细粒度的，分桶是不同的文件。 分区是粗粒度的，即相当于，表下建立文件夹。分区是不同的文件夹。 桶在对指定列进行哈希计算时，会根据哈希值切分数据，使每个桶对应一个文件。 里面的id是哈希值，分过来的。 分桶，一般用作数据倾斜和数据抽样方面。由此，可看出是细粒度。 注意：普通表（外部表、内部表）、 ...
分类：
其他好文 时间：
2017-03-22 23:27:50
阅读次数：
440
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/spark/skew/ 摘要 为何要处理数据倾斜（Data Skew） 什么是数据倾斜 数据倾斜是如何造成的 从数据源直接读取。如读取HDFS，Kafka 读取上一个Stage的Shuffle数据 如何缓解/ ...
分类：
其他好文 时间：
2017-03-21 15:35:34
阅读次数：
209
Spark性能调优之解决数据倾斜 数据倾斜七种解决方案 shuffle的过程最容易引起数据倾斜 1.使用Hive ETL预处理数据 <!--more--> ? 方案适用场景：如果导致数据倾斜的是Hive表。如果该Hive表中的数据本身很不均匀（比如某个 key对应了100万数据，其他key才对应了1 ...
分类：
其他好文 时间：
2017-03-12 15:27:05
阅读次数：
249
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 ...
分类：
其他好文 时间：
2017-03-10 15:10:21
阅读次数：
240
前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作 ...
分类：
其他好文 时间：
2017-03-10 00:34:22
阅读次数：
236
今天被问到hive的数据倾斜，觉得自己对这块理解比较欠缺，某度了一下进行深入学习： hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案 １、join的ke ...
分类：
其他好文 时间：
2017-02-13 19:11:16
阅读次数：
297
优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。 理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。 长期观察hadoop处理数据的过程，有几个显著的特征: 1.不怕数据多，就怕数据倾斜。 2．对jobs数比较多的作业运行效 ...
分类：
其他好文 时间：
2016-12-25 23:17:49
阅读次数：
235
【重要】 Spark性能调优——扩展篇 ： http://blog.csdn.net/zdy0_2004/article/details/51705043 ...
分类：
其他好文 时间：
2016-12-01 21:48:17
阅读次数：
247
数据倾斜 操作导致 原因 表现 解决方案 转自: http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html ...
分类：
其他好文 时间：
2016-11-16 17:19:59
阅读次数：
117
