在Mapreduce中，Shuffle过程是Mapreduce的核心，它分布在Mapreduce的map阶段和reduce阶段，共可分为6个详细的阶段： 1).Collect阶段：将MapTask的结果输出到默认大小为100M的MapOutputBuffer内部环形内存缓冲区，保存的是key/val ...
分类：
其他好文 时间：
2016-05-27 23:33:57
阅读次数：
211
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优...
分类：
其他好文 时间：
2016-05-27 11:43:37
阅读次数：
210
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里...
分类：
其他好文 时间：
2016-05-23 15:20:00
阅读次数：
142
调优概述
大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基...
分类：
其他好文 时间：
2016-05-18 18:59:14
阅读次数：
148
Shuffle描述数据从map task输出到reduce输入的这段过程 1、map端shuffle功能 1）分区：决定将map task 交给哪个reduce程序处理； 2）排序：对分区中的数据做排序处理 3）spill写入磁盘：将内存中数据写入磁盘 4）merge合并：将小文件合并成大文件 说明 ...
分类：
其他好文 时间：
2016-05-09 22:09:26
阅读次数：
217
Shuffle描述着数据从map task输出到reduce task输入的这段过程。
个人理解：
map执行的结果会保存为本地的一个文件中：
只要map执行 完成，内存中的map数据就一定会保存到本地文件，保存这个文件有个过程 叫做spilll（溢写），如果需要对map的执行结果做 combine 也是在这个时候（溢写执行的时候，写入磁盘之前）做的
reduce怎么接受数据：
...
分类：
其他好文 时间：
2016-04-10 11:34:57
阅读次数：
518
前言：
矩阵乘法在数据挖掘/机器学习中是常用的计算步骤，并且在大数据计算中，shuffle过程是不可避免的，矩阵乘法的不同计算方式shuffle的数据量都不相同。通过对矩阵乘法不同计算方式的深入学习，希望能够对大数据算法实现的shuffle过程优化有所启发。网上有很多分布式矩阵乘法相关的文章和论文，但是鲜有对Spark中分布式矩阵乘法的分析。本文针对Spark中分布式矩阵乘法的实现进行必要的说明...
分类：
其他好文 时间：
2016-03-27 07:23:30
阅读次数：
302
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关方面的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越乱。前端时间在做MapReduce job性能调优的工作，需要深入代码研究MapRedu
分类：
其他好文 时间：
2016-01-31 21:38:30
阅读次数：
344
一：背景 Reduce端连接比Map端连接更为普遍，因为输入的数据不需要特定的结构，但是效率比较低，因为所有数据都必须经过Shuffle过程。 二：技术实现 基本思路 (1)：Map端读取所有的文件，并在输出的内容里加上标示，代表数据是从哪个文件里来的。 (2)：在reduce处理函数中，按照标识对
分类：
其他好文 时间：
2016-01-31 21:17:42
阅读次数：
253
一：背景 TopK问题应该是海量数据处理中应用最广泛的了，比如在海量日志数据处理中，对数据清洗完成之后统计某日访问网站次数最多的前K个IP。这个问题的实现方式并不难，我们完全可以利用MapReduce的Shuffle过程实现排序，然后在Reduce端进行简单的个数判断输出即可。这里还涉及到二次排序，
分类：
其他好文 时间：
2016-01-31 21:13:00
阅读次数：
291
