标签:coalesce ado reduce hadoop mapred 保存 oop set 多文件
题目:
需要将MR的执行结果保存到3个文件中,该怎么做。
又是一个送分题。
对于Hadoop的MapReduce来说只需要设置一下reduce任务的数量即可。MR的Job默认reduce数量是1,需要调用job的setNumReduceTasks()方法来调整reduce任务的数量。
对于spark来说,可以调用coalesce方法或repartition方法来调整分区的数量,这样也可以调整最终结果输出文件的数量。关于coalesce方法和分区的关系这里不展开了,随便搜搜就能找到了。
#######
标签:coalesce ado reduce hadoop mapred 保存 oop set 多文件
原文地址:http://www.cnblogs.com/amunote/p/7554552.html