码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce 编程 系列十二 Reduce阶段内部细节和调节参数

时间:2014-10-04 15:41:56      阅读:240      评论:0      收藏:0      [点我收藏+]

标签:hadoop   mapreduce   

Reduce计算分为若干阶段

1. copy(或者叫shuffle)阶段和merge阶段并行

之前Map产生的结果被存放在本地磁盘上,这时需要从reduce节点将数据从map节点复制过来。放得下进内存,比较大的则写到本地磁盘。

同时,有两个线程对已经获得的内存中和磁盘上的数据进行merge操作。

具体细节是:

通过RPC调用询问task tracker已经完成的map task列表,shuffle(洗牌)是对所有的task tracker host的洗牌操作,这样可以打乱copy数据的顺序,防止出现网络热点(大量进程读取一个task tracker节点的数据)。

可以复制的任务被存放在scheduledCopies中。

一旦有了要复制到数据,会启动多个MapOutputCopier线程,通过HTTP GET请求复制数据,如果数据较大,存入磁盘,否则存入缓存。

对于缓存中,有线程InMemoryFSMerge线程负责merge,对文件,有LocalFSMerger线程负责merge。


因此观察jobtracker会看到map操作还没有完全结束,reduce操作已经开始了,就是进入了copy阶段。


2. sort阶段和调用reducer的reduce函数的并行

sort对Map阶段传来的<key,value> 数据针对key执行归并排序,产生<key, values>

用户编写的reduce将上面的<key, values>传递进ruduce函数处理


并行的算法提高了程序性能,具体算法以后再探讨。

3. write

将结果写到HDFS上。


Reduce的调优参数

mapred.reduce.parallel.copies 默认是5,表示有多少个并发线程去从task tracker节点复制数据

io.sort.factor 又出现了,默认10,仍然指的是并行合并文件的数目

mapred.job.shuffle.merge.percent 默认是0.66, 超过66%,就会将开始合并,然后往磁盘上写数据

mapred.inmem.merge.threshold 默认是1000,超过这个临界值,就会将开始合并,然后往磁盘上写数据




MapReduce 编程 系列十二 Reduce阶段内部细节和调节参数

标签:hadoop   mapreduce   

原文地址:http://blog.csdn.net/csfreebird/article/details/39778857

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!