MapReduce中Shuffle过程整理

标签：mapreduce   shuffle   

   MapReduce中的Shuffle过程分为Map端和Reduce端两个过程。

   Map端：

   1.（Hash Partitioner）执行完Map函数后，根据key进行hash，并对该结果进行Reduce的数量取模（该键值对将会由某个reduce端处理）得到一个分区号。

   2.（Sort Combiner）将该键值对和分区号序列化之后的字节写入到内存缓存区（大小为100M，装载因子为0.8）中，当内存缓冲区的大小超过100*0.8 = 80M的时候，将会spill（溢出）；在溢出之前会在内存缓冲区中对 该键值对和分区号序列化之后的字节 进行排序，并合并缓冲区中key相同的key-value对。

   3.（Merge）对于map结果有多个spill文件的情况，会将这些文件再进行一次合并，合并每个spill文件中key相同的key-value对，然后形成一些新的文件并删除spiil文件（注意：map端的输出文件存储在本地磁盘上，而不是在HDFS上）；对只有一个spill文件的情况，直接结束Map端的shuffle。

   Reduce端：

   1. （Copy）从每个map端使用HTTP拷贝需要的文件

   2. （Merge）对于从每个map端得到的文件进行在内存（该内存不仅仅是100M，而是JVM中堆的大小，因为此时不执行Reduce任务，JVM的内存可以全部让Merge使用）中合并，合并每个文件中key相同的key-value对，将结果存储在内存或者HDFS上，作为Reduce函数的输入。

MapReduce中Shuffle过程整理

标签：mapreduce   shuffle   

原文地址：http://blog.csdn.net/mangoer_ys/article/details/45621457