码迷,mamicode.com
首页 > 其他好文 > 详细

十二道MR习题 - 2 - 多文件保存

时间:2017-09-20 00:47:37      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:coalesce   ado   reduce   hadoop   mapred   保存   oop   set   多文件   

题目:

需要将MR的执行结果保存到3个文件中,该怎么做。

又是一个送分题。

对于Hadoop的MapReduce来说只需要设置一下reduce任务的数量即可。MR的Job默认reduce数量是1,需要调用job的setNumReduceTasks()方法来调整reduce任务的数量。

对于spark来说,可以调用coalesce方法或repartition方法来调整分区的数量,这样也可以调整最终结果输出文件的数量。关于coalesce方法和分区的关系这里不展开了,随便搜搜就能找到了。

#######

十二道MR习题 - 2 - 多文件保存

标签:coalesce   ado   reduce   hadoop   mapred   保存   oop   set   多文件   

原文地址:http://www.cnblogs.com/amunote/p/7554552.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!