step1 input InputFormat读取数据，将数据转换成<key ,value>对,设置FileInputFormat，默认是文本格式（TextInputFormat） step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默认情况下KEYIN: ...
分类：
其他好文 时间：
2017-11-03 12:59:41
阅读次数：
147
一、数据倾斜发生的原理 原理：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。数据倾斜只会发生在shuffle过程中。常用的并且可能会触发shuffl ...
分类：
其他好文 时间：
2017-10-31 20:16:39
阅读次数：
213
题目描述 给出一系列点p_1, p_2, ... , p_n，将其分成不多余m个连续的段，第i段内求一个点q_i，使得q_i到这段内点的距离的最大值的最大值最小 输入 第一行，n m下面n行，每行两个整数，表示p_i的x y坐标1<=m<=n<=100000坐标范围[-1000000,1000000 ...
分类：
其他好文 时间：
2017-09-02 18:08:43
阅读次数：
127
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle ...
分类：
其他好文 时间：
2017-04-15 19:12:28
阅读次数：
135
spark shuffle流程分析 回到ShuffleMapTask.runTask函数 如今回到ShuffleMapTask.runTask函数中： overridedef runTask(context:TaskContext): MapStatus = { 首先得到要reduce的task的个 ...
分类：
其他好文 时间：
2017-04-14 09:31:34
阅读次数：
332
摘要: 通过腾讯shuffle部署对shuffle过程进行详解 摘要：腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuff ...
分类：
其他好文 时间：
2017-04-10 00:41:43
阅读次数：
283
Spark的Shuffle过程介绍 Shuffle Writer Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如wide dependency的group by key。 Spark中需要Shuffle输出的Map任 ...
分类：
其他好文 时间：
2017-03-10 00:47:59
阅读次数：
174
Spark的Shuffle过程介绍 Shuffle Writer Spark丰富了任务类型，有些任务之间数据流转不需要通过Shuffle，但是有些任务之间还是需要通过Shuffle来传递数据，比如wide dependency的group by key。 Spark中需要Shuffle输出的Map任 ...
分类：
其他好文 时间：
2017-03-10 00:20:29
阅读次数：
232
腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuffle过程进行比较。 腾讯分布式数据仓库（Tencent distrib ...
分类：
其他好文 时间：
2017-03-10 00:16:17
阅读次数：
259
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapRedu ...
分类：
其他好文 时间：
2017-02-14 18:46:57
阅读次数：
212
