MapReduce中的排序

       hadoop的计算模型就是map/reduce，每一个计算任务会被分割成很多互不依赖的map/reduce计算单元，将所有的计算单元执行完毕后整个计算任务就完成了。因为计算单元之间互不依赖所以计算单元可以分配到不同的计算机上执行，这样就可以将计算压力平摊到多个机器上面。当然性能线性提高是有条件的，前提是计算任务所采用的算法必须能够适应map/reduce模式。例如对于海量数据排序任务来说，绝大多数的排序算法都是不适应map/reduce模式的，如堆排序，插入排序，冒泡排序都是不适用于map/reduce的，因为这些算法都需要维护一个全局有序队列，这会导致数据与数据之间严重依赖而导致计算任务不能分解。而桶排序算法（bucket sort）是可以适应map/reduce算法的。桶排序过程是这样的，首先对数据分段，段内是无序的，段间是有序的，后段的任何一个数据大于前段任何一个数据。此时可以把每一段划分成一个计算单元，这样就可以适用map/reduce模式了，每一个段有序后，排序任务就完成了。

      map主要是将一个大的任务分为多个小任务分摊到分布式机器上，而每个机器进行的任务是相同的。reduce是对处理后的数据进行合并操作，通过Reduce函数来将结果汇总。mapreduce就是分而治之。但性能线性提高是有条件的，前提是计算任务所采用的算法必须能够适应map/reduce模式，如桶排，这样如果计算任务可以分成n个计算单元，每个计算单元执行时间为t，m台机器的计算时间就是t*(n/m)。

 

      但如果不用桶排，比如像map是随机的（不像桶排后每大块间是有序的），map排序后每块有序，块间无序，这样reduce的工作就不是汇总/合并了，要在进行一次排序，就不适合mapreduce了 。