1、 首先要搞明白什么叫执行计划？ 执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案，这个方案是由查询优化器自动分析产生的，比如一条SQL语句如果用来从一个 10万条记录的表中查1条记录，那查询优化器会选择“索引查找”方式，如果该表进行了归档，当前只剩下5000条记录了，那查询优化 ...
分类：
数据库 时间：
2017-09-14 20:09:59
阅读次数：
223
原创文章，转载请务必将下面这段话置于文章开头处。本文转发自技术世界，原文链接 http://www.jasongj.com/spark/skew/ 摘要 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map ...
分类：
其他好文 时间：
2017-08-15 11:24:14
阅读次数：
343
调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共 ...
分类：
其他好文 时间：
2017-08-02 00:30:57
阅读次数：
183
从传统数据库迁移到GP中一个重要的且常常被开发者忽略的概念是数据分布，没有良好的设计表的分布键会导致严重的性能问题。下面函数将给开发者及DBA检測一个表的数据倾斜情况。 -- Function: gpmg.data_skew(character varying) -- DROP FUNCTION g ...
分类：
其他好文 时间：
2017-07-28 11:06:13
阅读次数：
278
目录视图 摘要视图 订阅 目录视图 摘要视图 订阅 目录视图 摘要视图 订阅 【观点】物联网与大数据将助推工业应用的崛起，你认同么？ CSDN日报20170703——《从高考到程序员——我一直在寻找答案》 【直播】探究Linux的总线、设备、驱动模型！ 数据倾斜是多么痛？spark作业调优秘籍 20 ...
分类：
其他好文 时间：
2017-07-03 22:42:43
阅读次数：
233
本文转自美团点评技术团队博客，原文地址：http://tech.meituan.com/spark-tuning-pro.html 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以 ...
分类：
其他好文 时间：
2017-07-03 22:30:15
阅读次数：
232
原文：http://blog.csdn.net/tanglizhe1105/article/details/51050974 背景 很多使用Spark的朋友很想知道rdd里的元素是怎么存储的，它们占用多少存储空间？本次我们将以实验的方式进行测试，展示rdd存储开销性能。 关于rdd的元素怎么存储，S ...
分类：
其他好文 时间：
2017-07-03 22:24:27
阅读次数：
186
参考：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优 ...
分类：
其他好文 时间：
2017-06-23 16:52:41
阅读次数：
208
前言 数据倾斜调优 调优概述 数据倾斜发生时的现象 数据倾斜发生的原理 如何定位导致数据倾斜的代码 查看导致数据倾斜的key的数据分布情况 数据倾斜的解决方案 解决方案一：使用Hive ETL预处理数据 解决方案二：过滤少数导致倾斜的key 解决方案三：提高shuffle操作的并行度 解决方案四：两 ...
分类：
其他好文 时间：
2017-05-23 13:16:57
阅读次数：
284
Spark性能优化指南——高级篇 [TOC] 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中... ...
分类：
其他好文 时间：
2017-05-14 23:48:10
阅读次数：
506
